高阶调制格式的偏振复用技术已经在相干光通信系统中得到了广泛应用,它能成倍地提高光纤系统容量,且无需对系统进行大规模的改造。对于偏振复用系统,为了在接收端恢复出两路原始偏振态的信息,需要在接收端对信号进行偏振解复用。基于Stokes空间的偏振解复用方法具有调制格式无关的特性,基于卡尔曼滤波器的偏振解复用方法具有很好的鲁棒性。两种方法结合,可实现优化的偏振解复用及链路均衡。然而,该方法需要选取一个优化的初始过程噪声协方差,如果选取不当,算法的收敛性和精度都会有所下降。为消除过程噪声协方差取值不当对解复用性能的影响,提出一种在Stokes空间中基于自适应卡尔曼滤波器（AKF）的偏振解复用方法,能够对过程噪声进行自适应估计,提升解复用精度和收敛速度。通过软件仿真和实验分析了该算法在不同应用环境下的性能。首先,本文从PDM相干光通信系统的基本理论出发,介绍了偏振光的定义和分类及描述方法;然后对偏振复用系统中的色散、双折射效应和偏振模色散进行了理论分析;最后对偏振复用系统模型的发送端、传输链路、接收端进行简要分析。其次,利用VPItransmissionMaker^TM光通信仿真平台搭建了28 GBaud PDM-QPSK/16QAM仿真模型来验证算法的可行性。通过仿真分析了基于AKF的偏振解复用方法对偏振旋转频率的容忍度,仿真结果表明,对于PDM-QPSK/16QAM信号,当偏振旋转频率分别小于10⁵ rad/s和5×10⁴ rad/s时,误码率性能几乎不变,完全能满足现在商用光纤通信系统对偏振旋转速率的要求。同时,通过仿真对比分析了CMA、LS-PF、EKF和AKF算法对PDM-QPSK/16QAM信号的解复用性能。最后,分别研究了残余色散和偏振模色散对上述四种算法解复用性能的影响,仿真结果证明了所提出的AKF算法是可行的。最后,基于相干光通信传输平台,对16 GBaud PDM-16QAM相干光通信传输系统进行了实验研究。针对不同的传输距离（B2B和560 km）,对传统EKF和所提出的AKF的解复用性能进行了实验对比分析。结果表明,尽管初始过程噪声协方差Q在[0,10^-3]这样大的范围内取值,本文所提出的算法都能在1000个符号内收敛。与EKF算法(优化值Q=10^-6情况下)对比,AKF方法收敛速度快4倍多。同时,在7%FEC处,本文所提出的AKF算法在560 km传输的OSNR代价相比于B2B仅为2.7 dB。随后,通过实验评估了AKF算法的偏振追踪稳定性。实验结果表明,在偏振旋转速率为2474.004 rad/s时,B2B和560 km传输误码率抖动仅分别为0.3 dB和0.2 dB,具有很好的偏振解复用稳定性。