随着社会信息化程度的不断提高、互联网应用的迅速普及与多媒体业务的日益增加,通信网络对传输带宽的需求呈现爆炸式增长,目前网络流量已接近现有传输技术的极限。发展新型传输技术以满足未来网络的增长需求已成为一个迫在眉睫的任务。以空分复用为主要内容的多维通信传输机制与组网方法的研究已经成为当前光纤通信领域令人瞩目的前沿研究方向和热点课题。模分复用属于空分复用的一个类型。模分复用传输系统以不同模式为信息载体,以少模光纤为传输链路,采用多输入多输出结构,尚有许多关键的科学问题亟需研究解决,诸如少模光纤传输链路中的随机模式耦合对发送信号和系统性能的影响以及各种关键设备(模式转换器、模式复用器和解复用器、少模光纤放大器等)的内在机理及设计等。本论文主要基于国家重点基础研究发展计划(973计划)课题“多维复用光纤通信基础研究”,对模分复用传输系统及其关键技术进行了研究,最为主要的研究内容为模分复用传输系统接收端MIMO DSP的解模式耦合算法的提出与实现。论文的主要研究内容与创新工作如下：建立具有随机模式耦合效应的少模光纤传输链路模型在模分复用传输系统中,少模光纤传输链路至关重要。本论文在建立少模光纤传输链路模型时,重点考虑随机模式耦合效应的影响。根据是否考虑光场模式、群时延和其他模式特性,可以分别建立光场耦合模型和功率耦合模型。根据耦合强度的不同,分为强耦合机制和弱耦合机制。本论文针对强耦合机制和弱耦合机制分别建立了功率耦合模型,并对两种耦合机制下的功率耦合模型进行了仿真和接收端的算法处理。给出模分复用传输系统一般模型并对其进行仿真通过收集阅读研究大量文献,对比总结,给出了模分复用传输系统的一般模型,该系统主要由以下部分组成：发送端、模式转换器、模式复用器、少模光纤传输链路、模式解复用器、相干接收机、数字信号处理模块等。深入研究了目前主要使用的以上各器件的原理与实现方法。在此基础上,搭建了可以同时传输四个模式的4×4的模分复用传输系统,并完成每个模式携带一路56GBaud的QPSK信号的传输。三、提出多输入多输出恒模算法并利用该算法实现解模式耦合本论文首次提出采用多输入多输出的恒模算法实现模分复用传输系统的相干接收端的解模式耦合。将通常用于单模光纤中的解偏振模色散的恒模算法,扩展为多输入多输出的恒模算法,并将其用于解少模光纤中的模式耦合。采用扩展的多输入多输出恒模算法,可以实现在不同耦合强度下,改善了四个模式的接收信号的误比特率性能,并对算法中滤波器的长度和迭代步长对算法收敛性的影响进行了深入研究。