光子可以携带两种角动量：自旋角动量(spin angular momentum, SAM);和轨道角动量(orbital angular momentum, OAM)。光子的两个SAM分别对应光的左旋圆偏振和右旋圆偏振,描绘了一个二维Hilbert空间,因此可以用作一个量子比特(qubit)的基。基于偏振qubits的自由空间量子光通信理论上能够提供绝对的安全性,进一步通过卫星可以构建全球量子光通信网络,因而具有重要的现实意义。而OAM与光场的方位角相位相关联,它的本征模式含有一个螺旋的相位因子exp(i(?)θ)。由于l可以取任意的整数,因此存在无穷多个OAM的本征模式。这些模式形成了一个无穷维的Hilbert空间,从而能够用于编码更多的信息,显著的增加通信系统的信息容量。另一方面,相对于传统的光纤信道,OAM模式能够在自由空间信道更好的传输,因此基于OAM的自由空间光通信已经吸引了大量的关注,是目前的一个研究热点。自由空间量子光通信采用偏振编码方案,也就是利用光子的正交偏振态实现qubits。因此单光子在自由空间传输过程中的偏振保持是一个至关重要的问题。OAM模式在自由空间传输的过程中,大气湍流效应引起模式的波前相位畸变,导致OAM模式信道间的串话,降低了基于OAM的自由空间光通信系统性能。本论文围绕光子偏振qubits和OAM模式在自由空间中的传输特性开展了系统的研究,主要的创新性成果如下：(1).我们提出了一个广义的星地量子光通信系统模型。该模型中卫星轨道的离心率可以取区间[0,1)内的任何一个值。此外,模型采用地心坐标系作为参考系,能够直接应用美国宇航局两行式卫星参数。因而我们的模型非常适合于计算现有的或将来发射的任何一颗卫星与地面接收站之间的相对运动所导致的光子qubits的偏振基旋转,能够为不远将来的工程实践提供一定的指导。(2).我们首次理论上研究了大气粒子的散射效应对光子qubits的影响。我们提出了一种新的矢量Monte-Carlo方法,该方法利用透过率成功的解决了在非均匀的大气介质中连续的两次散射事件之间的光子自由程计算。显示了在上链路和下链路中,偏振qubits都保持的很好,这与以前的实验结果一致。然而,接收到的单光子数量不到发射的单光子数量的一半。(3).我们首次研究了遵循最现实的谱模型的大气湍流对基于OAM的自由空间光通信系统的影响,并评估了在这种大气湍流的影响下采用不连续的OAM模式编码方式后系统的信道容量。显示了不连续的OAM模式编码方式能够有效的降低OAM模式信道间的串话,使得系统信道容量逼近理想曲线。(4).我们具体的演示了强大气湍流条件下一个恰当设计的闭环自适应光学系统模型对OAM模式波前相位畸变的实时矫正过程,显示了自适应光学系统的应用能够显著提升系统的信道容量。此外我们考虑了大气湍流随风而动态演化,评估了在这种情况下拥有自适应光学补偿的基于OAM自由空间光通信系统的瞬时特性。显示了闭环自适应光学系统的实时矫正不仅能够有效抑制系统的Strehl ratio和信道容量的波动,而且显著增加了Strehl ratio的值和极大提升了系统信道容量。