模分复用技术是提高光纤传输容量的重要方法,随着模式的扩展损伤效应更加明显,模分复用相关的数字信号处理也更加复杂。基于Stokes空间的信道均衡等方法已在偏分复用中得到了广泛的研究,但Stokes空间信号处理技术在模分复用中的应用还有待进一步深入研究。尤其对由于模式差异使用混合调制格式信号复用以提高传输效率的复用系统,缺乏对模分复用信号尤其是混合调制格式混合传输的相关研究。模分复用系统由于存在模式耦合问题,需要在接收端通过数字信号处理技术进行信道均衡。本文针对混合调制格式混合传输信号在Stokes空间中的向量分布特性,在信道均衡前通过机器学习算法,对Stokes空间中的向量聚类数进行分析实现调制格式识别,并提出一种改进的均衡方法Stokes分层拟合法,在仿真系统中对这两种方法分别进行验证。本文具体工作包括以下三点:一、分析了 Stokes空间中混合调制格式信号(N-PSK&M-QAM)复用的Stokes向量的特点。对光纤模式和模式耦合理论进行阐述,并对模分复用在高维Stokes空间中的模式色散检测和结合最小均方(LMS)思想的Stokes空间算法进行理论说明。二、提出混合调制格式混合传输,结合聚类数特点和变分贝叶斯期望最大化算法,根据混合调制格式复用信号聚类数差异性进行判别,实现调制格式识别。本文仿真了 QPSK&16QAM系统,验证了可在DSP的解复用步骤前,通过算法确定信号的Stokes向量聚类数和标准聚类数的代价函数,成功识别发送信号的调制格式类型。三、为解决混合调制格式复用信号无法通过传统MMA算法实现信道均衡的问题,在Stokes空间中对N-PSK&M-QAM复用信号的分布特点进行分析,提出一种基于SO的分层拟合解复用方法。在QPSK&16QAM仿真系统中的接收端DSP中,使用改进的Stokes空间算法进行信号解复用处理,通过与背靠背系统的误码率对比,验证了该算法的有效性。