轨道角动量光束,具有螺旋相位结构和环形光场分布,在微粒囚禁操纵领域、光学显微成像领域、非线性光学领域及光通信领域具有广阔的应用前景。全光纤化的轨道角动量光束应用系统,具有无衍射性、集成度高、抗干扰能力强等优势,是轨道角动量光学研究的重要发展方向。对于轨道角动量光纤及光纤器件,模式纯度是衡量其能否实际搭建应用系统的关键指标。本论文针对模式纯度,从理论上深入研究串扰的起源,探索新型的轨道角动量光纤及光纤器件的结构设计和优化,取得了如下主要研究成果:1、低本征串扰的轨道角动量光纤设计。求解光纤中的轨道角动量模式的精确解,并指出在非弱波导近似条件下,光纤中的轨道角动量模式存在本征串扰。从理论上推导了光纤折射率分布曲线与本征串扰的关系,并证明梯度折射率光纤相比于环形光纤,能够实现更低的本征串扰值。设计一种折射率渐变型的新型轨道角动量光纤,实现其模式纯度高于99.9%,本征串扰值低于-30 dB。该光纤最多支持16个传输模式数目(其中,10个轨道角动量模式),在C波段内的色散值均低于35 ps/(km·nm),不同模式之间的色散差值小于40 ps/(km·nm)。2、轨道角动量模式的耦合规律。建立模式匹配法分析光纤耦合器的数学模型,并证明其具有计算准确、迅速、适用范围广的优点,能够用于定量分析光纤中混合偏振模式的强耦合作用和弱耦合作用。分别总结光纤中强耦合情形下高阶本征模式和轨道角动量模式的耦合作用机理,发现耦合结果均可能产生新的模式。该现象有望用于设计新型的光纤模式转换器件。3、高模式纯度的轨道角动量光纤耦合器设计。采用模式匹配法,设计并优化了双环芯光纤结构的轨道角动量模式耦合器,实现三阶以内的轨道角动量模式在1540-1560nm波段内的高效率耦合,输出的模式纯度均超过95%。采用模式匹配法,设计并优化了微纳光纤结构的轨道角动量模式耦合器,通过控制双芯间距,实现耦合输出的模式纯度超过95%。对于悬空结构,通过改变耦合区长度能实现C波段内任意分光比的耦合输出。对于热光溶液封装结构,通过改变温度在C波段内实现工作波长任意可调、分光比任意可调。4、高模式纯度的轨道角动量光纤模式复用器设计。提出利用参数不同的微纳光纤构建轨道角动量复用器模型,通过控制微纳光纤的参数以匹配特定阶数的轨道角动量模式的有效折射率,从而实现高效率、高模式纯度的分束功能。采用模式匹配法,设计并优化了微纳光纤两模复用器,有效实现三阶以内的任意两个轨道角动量模式的复用,耦合效率均超过90%,模式纯度超过95%。提出并论证微纳光纤多模复用器的两种模型(串联结构和并联结构)的可行性,实现多个轨道角动量模式的复用,耦合效率均超过90%,模式纯度超过95%。