近年来,高阶调制格式如16QAM结合相干检测和离线数字信号处理(DSP)模块,对提高通信系统业务传输容量有很重要的意义。与低阶系统相比,16QAM信号对相位噪声和幅度噪声更加敏感。传统的前馈式载波相位恢复算法存在不能消除幅度噪声的缺点,而判决反馈判式算法存在线宽受限等问题。本文围绕相干光传输系统中DSP的各种算法进行了研究,重点设计了基于Kalman滤波器级联载波相位恢复的自适应均衡技术。论文的主要研究内容与创新工作如下:针对当前光传输领域中运用的盲载波相位恢复算法(如VVPE、VVPE-ML)不能实现最优估计和补偿幅度噪声的缺点,研究并提出了一种基于Kalman滤波器级联VVPE的16QAM载波相位恢复算法,简称为VVPE-DFEKF。该算法首先利用VVPE算法进行大范围的载波相位噪声补偿,第二阶段级联反馈判决式Kalman滤波器,进行自适应均衡,去除残余相位噪声和幅度噪声。首先建立了 25Gbaud DP-16QAM仿真平台,实现了 2000km光信号传输,与传统的VVPE、VVPE-ML等方案相比,提升了约20%。其次,设计非线性相位噪声模型,分析VVPE-DFEKF对非线性相位噪声的补偿性能。在100kHz线宽和误码率1e-3附近,相比VVPE-LMS方案的非线性相位噪声容限增大1.4dB。且随着系统线宽增大,VVPE-DFEKF会表现出更优良的补偿性能。搭建16QAM的BTB系统实验平台,接收端,利用MATLAB软件编程,对相干接收信号进行DSP处理。对单偏系统,在11.2GBd的情况下,应用VVPE-DFEKF算法,在3.8e-3误码率附近,需要的最低光信噪比相对于VVPE-ML方案低0.6dB。在28GBd时,可以实现比VVPE-ML方案低1.3dB的需求光信噪比。DP-16QAM实验系统,可以实现接收误码率1e-4量级,低于硬判决门限。