近年来,随着高速数字信号处理技术(digital signal processing,DSP)和模数转换技术的进步,加上相关光通信器件如光学混频器的发展,相干光传输技术重新成为光通信领域的研究热点。相干检测与DSP技术相结合,使得在电域进行可编程处理的载波相位恢复及(信号和本振光的)偏振态匹配成为可能,这样就清除了传统相干光通信系统的两大主要技术障碍。基于DSP技术的相干接收机结构简单,具有硬件透明性；可在电域补偿线性或非线性传输损伤,简化传输链路,降低传输成本；支持多进制调制格式和偏振态复用,易实现高频谱效率的光纤传输。众多优势使得基于DSP技术的相干光传输系统成为下一代光通信系统的重要选择,有关其传输特性和接收算法的研究迅速展开。基于DSP技术的相干检测技术与诸如正交相移键控(quadrature phase shift keying, QPSK)、正交幅度调制(quadrature amplitude modulation, QAM)等高级调制格式相结合,可以大大提升系统的传输容量,简化系统复杂度；如果再结合偏振复用技术(polarization-multiplexed, PM),则可以成倍的提升系统的谱效率偏振复用正交相移键控(PM-QPSK)调制格式结合相干检测技术已成为实现40/100G光网络的首选方案。采用这种方案,光信号在传输过程中引入的线性损伤,诸如群速度色散(group velocity dispersion,GVD)和偏振模色散(polarization mode dispersion, PMD)都可以在接收机处补偿。因此,限制这一方案通信性能的主要问题来自于光信号在传输过程中受到的非线性损伤,包括自相位调制(self-phase modulation, SPM)、交叉相位调制(cross-phase modulation, XPM)、四波混频(four-wave mixing, FWM)以及非线性相位噪声(nonlinear phase noise, NLPN)等等。对于常见的多信道的波分复用(wavelength division multiplexing, WDM)系统,信道间的XPM效应对于偏振复用系统的影响尤其严重。它不但使得信号的相位受到扰动,而且还会引起另一种严重的非线性损伤,称之为信道间交叉偏振调制(cross-polarization modulation, XPolM)。已经有实验以及仿真研究表明,对于40G的色散管理PM-QPSK波分复用系统来说,XPolM已成为限制系统性能的主要损伤源。对于100G的系统,XPolM会造成和其他非线性损伤同样量级的传输代价。本论文针对100G (40G)PM-QPSK数字相干传输系统中的非线性损伤及系统的性能估计进行了较深入的研究,取得了一定的创新性研究成果。本文的主要创新点和研究工作包括：(1)首次研究了单信道色散管理PM-QPSK系统中,SPM效应引起的偏振态散射的现象。研究表明,由于SPM效应对双偏振信号的X和Y偏振态上的脉冲的相位的不同扰动,因此信号在光纤的传输过程中,任意脉冲对的X和Y偏振分量间的相位差不再保持恒定,而会发生一定程度的抖动。结果会导致它们的合偏振态发生显著的偏振态散射。研究结果进一步表明,SPM导致的偏振散射的程度和PM-QPSK信号的脉冲对两正交偏振分量之间的相位差的抖动程度成线性正相关。相位差的抖动越厉害(方差越大),偏振散射就越严重。除此之外,我们发现合适的色散图谱(即预色散补偿量和每跨段的残留色散量)能够明显地抑制这类偏振散射。上述结论对非归零码(non-return-to-zero, NRZ)和归零码(return-to-zero, RZ)脉冲均成立。(2)论文针对色散管理PM-QPSK系统中的非线性信号-噪声相互作用(nonlinear signal-noise interactions, NSNI)进行了较深入的研究。我们发现,对于符号同步格式(symbol-aligned format)的相干PM-QPSK系统,NSNI对系统的影响很小；而对于符号交错(symbol-interleaved format)格式,NSNI对PM-QPSK传输系统的影响比较严重。这一现象在低速率(比如42.8-Gbit/s)、采用RZ脉冲的PM-QPSK传输系统中尤其明显。数值研究结果表明,对于19个信道、速率为42.8-Gbit/s的RZ-PM-QPSK系统,当信号在标准单模光纤上传输1000公里后,由于NSNI的影响,符号交错RZ-PM-QPSK系统的非线性限(nonlinear threshold, NLT)将会从5.8dBm下降为0.6dBm。而对于符号同步格式的RZ-PM-QPSK系统,由于NSNI的影响,其NLT仅由-0.6dBm下降至-1.5dBm。进一步研究发现,造成上述区别的原因在于信道间交叉偏振调制(XPoIM)。XPolM效应对NSNI并不敏感。在速率42.8-Gbit/s、采用全光色散补偿的PM-QPSK传输系统中,XPolM损伤的大小主导了系统的性能。而XPolM效应又对NSNI不敏感,所以这样的系统对NSNI效应也不敏感。而对于使用符号交错格式的PM-QPSK传输系统来说,链路中的XPolM损伤已得到极大地压缩,其他对NSNI有贡献的非线性效应占主导地位。此时的系统对NSNI高度敏感。这部分的研究成果发表在Optics Express期刊上,并得到了较好的评价。(3)论文分析了PM-QPSK系统中,偏振模色散(PMD)对NSNI效应导致的传输代价的影响。结果表明,对于单信道传输系统,PMD效应引起的差分群时延(differentail group delay, DGD)能够使得双偏振信号的X和Y偏振分量之间发生“走离”效应,继而降低了它们的合光场的峰值功率,从而减弱了非线性效应。而非线性损伤的大小与NSNI损伤的大小成正相关的关系。因此,PMD效应有助于降低单信道PM-QPSK系统中NSNI引起的传输代价。对于多信道的PM-QPSK传输系统,同样由于PMD效应引起的X和Y偏振分量之间的“走离”效应,它减少了参与XPolM效应的偏振态的数目,继而大大减弱了XPolM损伤。另一方面,与符号交错格式类似,对XPolM效应的抑制意味着系统开始对NSNI效应变得敏感。因此,PMD效应恶化了PM-QPSK系统中NSNI引起的传输代价。对于给定的传输链路,光纤的PMD系数越大,上述恶化效果越明显。这部分的研究成果发表在Optics Express期刊上,并得到了较好的评价。(4)研究了基于PM-QPSK调制格式的密集波分复用系统中,光复用器的滤波函数形状及带宽对系统通信性能的影响。我们以1至4阶超高斯光滤波器来代表光复用器的滤波效果。研究发现,虽然高阶的滤波器在合适的滤波带宽处,光纤传输系统能获得相对于使用低阶滤波器更好的通信性能,但是它对滤波器的带宽及中心波长的抖动非常敏感。低阶滤波器虽然获得次之的性能,但是滤波器的带宽抖动对系统的影响不像高阶滤波器那么严重。信道间隔越窄,上述现象越明显。在背靠背的情形下,研究发现对于波特率为Rs,信道间隔为50GHz的PM-QPSK系统来说,如果滤波器的带宽超过1.1Rs,那么各阶滤波器的性能几乎一致。在带宽低于1.1R。的区域,信道内符号间干扰(intra-channel symbol interference, ISI)主导了系统的性能。在这个区域,高阶滤波器更容易激发起严重的ISI损伤,从而获得次于低阶滤波器的性能。对信道间隔等于波特率Rs的Nyquist-WDM系统的研究表明,滤波器的带宽存在一个最优值。滤波带宽过低会引起严重的ISI损伤,带宽过大又会引起严重的信道间线性串扰(inter-channel coherent crosstalk, ICC)。研究结果表明,对于10个信道,每信道速率为111-Gbit/s (波特率Rs=27.75GBaud)并采用NRZ-PM-QPSK调制的Nyquist-WDM系统来说,4阶超高斯滤波器在最优带宽值在0.95Rs=26.4GHz处,系统能获得最好的性能。此外我们还发现,滤波器的阶数越高,它对光信号在传输过程中受到的信道间的非线性损伤的抑制能力越强。这部分的研究成果发表在Optical Engineering期刊上,并得到了较好的评价。(5)论文提出了一种评估数字相干PM-QPSK传输系统误码性能的方法。该方法引入了平均偏振度(degree of polarization, DOP)的概念,平均偏振度DOP (DOPmean)由信号经相干接收机解调后的信号星座图得到。通过对112-Gbit/s RZ-PM-QPSK传输系统的模拟,我们发现系统在长途传输结束后的Q因子与平均偏振度DOP的大小成确定的线性关系。越小的DOPmean意味着越差的误码性能。我们还发现,Q因子与DOPmean之间的确定的线性关系(即系统Q因子与DOPmean之间的比例常数)和系统的其他参数无关。比如,系统是单信道还是多信道、传输链路是全光色散补偿或全电色散补偿、系统有无经过长途非线性传输等因素无关。我们只需在背靠背的情形下得到Q-DOPmean的关系曲线,那么在其他的任意场景,从信号的星座图计算得到的DOPmean的大小可直接得到系统的Q因子。