光纤网络是现代化通信的重要组成部分，然而层出不穷的光纤窃听事件和飞速发展的窃听技术，已经严重威胁了光纤通信的安全，光纤通信的信息安全成为人们最为关注的问题。随着计算机计算能力的提升，基于传统加密算法的信息安全技术安全性受到挑战，光纤通信系统的安全性无法得到保证。光纤物理层防护技术通过光学器件的物理特性和超快光学信号处理方法，可以在物理层上实现光信号的信息安全，解决传统加密算法面临的挑战，是实现安全光纤通信系统的有效方法。然而随着5G时代的到来，数据中心通信速率已从单通道10Gb/s向100Gb/s甚至400Gb/s进发。大部分现有的安全通信体制尚无法应对新的通信需求，其安全性能仍受到通信速率的制约。因此，研究高速光纤安全通信系统的关键技术，实现高速安全光纤通信具有重要意义。
　　本论文针对光纤安全通信系统中存在的通信性能与安全性能相互制约的问题，提出了三种不同通信场景需求下的安全光纤通信方案，研究了所设计方案在安全通信系统中的传输性能和安全性能方面的优势。具体工作内容和所取得的研究成果如下：
　　(1)提出了一种基于全光多域变换的安全光纤通信系统。通过构建随机相位掩模和光域变换模块完成对信号进行全光多域变换，使信号在多个信息域上加密，解决了高速数据通道的安全传输问题。仿真测试了两种加密机制的加密效果，讨论了系统的通信性能，对通信速率透明，通信距离可超过1000km，加密信号被第三方成功截获的概率低于0.004275%。实验测试了通信速率4×10Gb/s信号在200km标准单模光纤(standard single mode fiber，SSMF)上的安全传输，误码率低于10-9，引入加密机制带来的光功率代价为0.4dB。
　　(2)提出了一种速率>100Gb/s的基于强度调制量子噪声随机流密码(intensity shift keying quantum noise stream cipher，ISK-QNSC)的安全光纤通信系统。通过ISK-QNSC技术，保证了数据通道的安全性能；利用双驱差分马赫-曾德尔调制器(DD-MZM)实现了单边带调制，消除链路色散带来的功率衰落现象；设计了一种新型的稀疏RLS-Volterra均衡算法，成功地消除了链路的线性损伤和非线性损伤，同时简化了均衡器结构，在保证通信性能的前提下，算法复杂度减少了71%以上。实验首次实现了基于ISK-QNSC技术的100Gb/sPAM4信号传输100km和150Gb/sPAM8信号传输25km的安全通信，误码率低于3.8×10-3，窃听方的探测失败概率最大可以分别达到98.72%和97.01%，引入ISK-QNSC带来的光功率代价低于0.7dB。
　　(3)提出一种基于白光干涉的光纤隐匿传输通信系统。通过ASE噪声和马赫泽德干涉仪结构隐藏信号，设计了一种回环式的单马赫泽德干涉仪结构，有效地克服了外界环境带来的干扰，增强了系统的稳定性，解决了马赫泽德干涉仪结构对环境极其敏感的问题，同时不需要额外的密钥分发。仿真和实验验证了隐匿传输通信系统的通信性能和安全性能，研究了不同ASE噪声带宽对于系统性能的影响，经过6小时连续测试，信号光功率变化小于0.05dBm，眼图Q因子保持稳定不变，最终实现了3Gb/sNRZ信号在25kmSSMF上的光纤隐匿传输。