随着通信和信息领域的快速发展,高速、大容量、高数据信息传输已成为必然趋势。然而,现有的通信技术还不能满足这些要求。近年来,人们提出了一种携带轨道角动量（OAM）的涡旋光束,由于它具有正交特性,因此可以用于提高通信容量和信息数据率。但基于OAM的自由空间光（FSO）通信链路传输面临着大气湍流（AT）这一严峻挑战,因为它会引入多模态串扰,从而降低了通信系统的性能。本文的主要目的是提出一些解决方案,用来纠正在信息传播过程中AT带来的失真。本文主要内容如下:1)提出一种使用Gerchberg-Saxton（GS）算法对不同种类ATs影响下的OAM态的恢复新方法。在仿真环境中,通过改变折射率结构参数和湍流随机相位屏数,研究了AT水平对OAM光束传输的影响。然后,采用GS算法计算预补偿相位并对失真的OAM光束进行校正。理论分析和数值仿真表明,当传输距离固定时,不仅改变折射率参数会影响AT强度,随机相屏的数量也会对AT强度水平照成影响。尽管在AT强度较强的情况下,由于GS算法的局限性,不能正确地计算预补偿相位从而校正畸变光束,但在弱、中AT强度水平下,GS算法可以有效的对相位补偿。同时我们证实,当拓扑电荷（TC）值较小、种类单一时使用GS算法恢复后的OAM光束性能优于TC值较大、种类较多的情况。2)基于GS算法和卷积神经网络（CNN）联合方案提高OAM模式识别度。为了实现AT环境下多路LG光束的高效识别,我们提出了一种将GS算法与CNN相结合的方案（GS-CNN）。通过对不同AT强度水平和不同模态间距下的识别性能的研究,验证了该方案的可行性。其次,我们还讨论了不同径向指数的LG光束的识别性能。数值模拟表明,采用GS算法对波束强度分布进行初始恢复后,后续CNN能够有效提取到恢复的强度分布特征,因此我们的方案和上述只使用GS算法的方案相比,在强AT环境下对多路LG波束具有更高的识别精度,并且该算法还能较好地识别不同径向指数的LG光束。此外,我们使用改进的CNN模型Shuffle Net V2网络对方案进行了改进,以实现在AT环境下对单路和多路复用混合贝塞尔高斯光束（HBGB）解调精度的提高。仿真结果表明,与传统的CNN算法相比,改进的CNN算法在采用GS算法进行光束补偿之前,具有更高的精度。由于传统的CNN和改进的CNN在结合GS算法后均能在强ATs下实现较高的精度,因此,GS-CNN在基于OAM的实际通信系统中具有很大的应用潜力。3)提出一种在ATs中的高效自恢复的复用贝塞尔高斯光束（m BGBs）通信系统。为了进一步研究在实际AT信道中OAM-FSO通信系统的可靠性,我们基于自恢复m BGBs提出了一个在ATs中传输的OAM-FSO通信系统。在接收器端,传输的m BGBs先通过GS算法来补偿ATs中的传输损耗,随后将补偿后的m BGBs转换成具有相同尺寸的理想光学涡旋（POV）,以用于获得更高的识别率。此外,我们还设计了一个复用相位全息图（MPH）,以增强生成的POV模式的可检测容量,在该模式中可以同时识别复用通道的信息。最后,还详细研究和讨论了在各种AT强度级别下对单OAM和多OAM的检测性能的影响。仿真结果表明,该系统在强AT环境下,对于单OAM波束和复用OAM波束都可以实现更好的传输性能。