自由空间激光通信(Free Space Optical Communication,FSO)是一种以激光作为载波信号的无线通信方式。与传统的射频(RF)通信相比,FSO系统具有更大的信道容量、更高的传输速率、优秀的抗电磁干扰性能、良好的保密性以及相对较小的体积和系统功耗等优点。因此,FSO在未来的空地、星际和地面通信中有着重要的需求。但是湍流造成的光强闪烁会严重损伤大气信道中传输的激光信号光场强度,随着折射率结构常数、传输距离的增加,光强闪烁会愈发严重,从而造成误码率的增加。因此,如何抑制大气湍流引起的光强闪烁一直是FSO领域的研究热点之一。中继辅助传输空间激光通信系统是抑制光强闪烁的方案之一,具有非直线传输、复杂度低的优势。在目前的中继辅助系统实验研究中,主要分为外场实验和室内模拟实验两种策略。室内模拟相对于外场实验具有可重复性强、不受场地限制等优势颇而颇受研究者青睐。目前的室内研究系统主要通过控制风速和温度等环境变量来模拟不同强度的大气湍流,但该方案结构复杂、变量不易控制并且传输距离受限。因此,我们提出了一种基于空间光调制器(Spatial Light Modulator,SLM)的室内中继辅助系统,该系统具有结构简单,可重复性强,可模拟不同传输距离的湍流等优点,极大的加快了实验进展。此外,相对于传统的强度调制直接探测系统,相干探测系统在增加信道容量,提高接收机灵敏度上具有十分显著的优势。本论文结合湍流抑制中继技术和高速率的相干探测技术,提出了一种相干探测中继辅助自由空间激光通信系统,通过实验对该方案进行了验证,并取得了一定的研究成果。本论文的主要研究工作及成果如下:1.为了在室内准确模拟大气湍流,我们分析了大气信道的数学模型,并实现了两种对大气湍流的数值模拟方案,在此基础上利用分步相位屏仿真理论对大气光传输进行了数值仿真。2.设计了一种基于空间光调制器的室内相干探测全光中继辅助系统,实验结果表明在2.5G Buad PM-QPSK的相干探测中继辅助系统中,在相同误码率的情况下中继辅助系统相比较无中继系统增加了至少3dB的功率预算。3.设计了一种光子灯笼抑制大气湍流的实验方案,实验结果表明光子灯笼可以在一定程度上抑制大气湍流与指向误差对系统造成的影响。