轨道角动量（Orbital Angular Momentum,OAM）的多路复用通信可以增大信道传输容量,但是由于受大气信道的影响,传输过程中会破坏OAM模式之间的正交性,进而产生串扰。和传统的无线光通信一样,多输入多输出（Multi-Input Multi-Output,MIMO）均衡方法可被用来降低OAM复用通信系统的模式间串扰以及码间干扰。本文针对应用于OAM复用通信系统的传统盲均衡算法不能同时恢复多路信号的情况,采用结合盲源分离的盲均衡算法来同时抑制多路串扰。主要工作如下:1、介绍了采用基于互相关函数（Cross Correlation,CC）的盲均衡算法,对在大气信道传输下OAM复用通信系统产生的串扰进行抑制,进而提高通信系统的性能。通过数值仿真对比分析了在此算法作用下,输出信号的星座图恢复,系统平均误码率以及算法收敛速度的情况。2、基于多用户峰度（Multiuser Kurtosis,MUK）最大化算法属于盲源分离算法的一种,其在单独作用于OAM复用通信系统也可以达到信源分离的作用,进而降低通信系统的串扰。通过仿真对比分析了其与恒模算法（Constant Modulus Algorithm,CMA）的均衡效果。3、介绍了将 MUK 算法与多模盲均衡算法（Modified Constant Modulus Algorithm,MCMA）相结合的基于高阶统计量的盲均衡算法,并将其应用于OAM复用通信系统,仿真分析了其抑制串扰的性能。研究结果表明:CC-MCMA算法与MUK-MCMA算法均可同时恢复多路传输信号,且后者对输出信号星座图的恢复效果较好于前者。对比分析了 MUK-MCMA算法、CC-MCMA算法、CMA算法以及MUK算法对系统平均误码率的降低情况以及收敛速度,结果表明MUK-MCMA算法的均衡效果都优于其它算法。在一定信噪比情况下,MUK-MCMA算法在降低误码率方面比CC-MCMA算法改善了一个数量级,且其收敛速度更快。