涡旋电磁波因其携带的轨道角动量和螺旋相位波前而以一种新的复用方式出现,可从根源上解决复用通信中速率和信道容量问题。另一方面,电磁波在地质勘探、石油探测、卫星通信、光学元件设计等诸多领域中经常会跨越不同媒质传播。因此,本文研究涡旋电磁波在分层介质中的传播特性是非常有意义的。首先,贝塞尔涡旋光束作为一种体波,是由一系列平面波叠加构成,通过矢量角谱理论和傅里叶变换得到了贝塞尔涡旋光束电磁场的角谱形式。经过算例验证,证明了本文中基于角谱理论的矢量贝塞尔涡旋光束的准确性。其次,根据平面波在分层介质中的反射和透射理论,利用广义反射和透射系数法得到了斜入射到分层介质时贝塞尔涡旋反射和透射光束电磁场的角谱表达式。在此基础上,数值模拟了x线性极化贝塞尔涡旋光束斜入射到含SiO2、A12O3、Ti2O3不均匀介质板的反射和透射。结果表明,透射贝塞尔涡旋光束与入射光束相比,总电场强度稍微有所减小,且从圆对称形状变成了椭圆对称形状,电场轮廓也发生了明显的偏移。反射贝塞尔涡旋光束的电场则发生了严重的畸变和偏移。然后,从张量的本构参数出发,基于广义传播矩阵法推导了贝塞尔涡旋光束斜入射时单轴各向异性单层介质和多层介质的反射和透射系数,通过自耦和互耦的反射、透射系数的线性组合得到了 TE波和TM波的总反射和透射系数。在此基础上,数值模拟了x线性极化贝塞尔涡旋光束分别通过方解石板和含方解石板、石英、冰构成的各向异性介质的反射和透射。结果表明,透射贝塞尔涡旋光束,与入射光束相比仍然保持与原来相似的轮廓。贝塞尔涡旋光束在三层介质中发生更多次的反射与透射,所以反射贝塞尔涡旋光束发生的畸变程度比单层的更严重。最后,给出了贝塞尔涡旋光束从分层介质中向无限大空间传播的电磁特性。为了便于匹配切向分量连续的边界条件,通过分解哈密顿算符推导出贝塞尔涡旋光束电磁场的横向和纵向场分量。接着利用分离变量法和求解贝塞尔涡旋光束所在分层介质中满足的有源波动方程,推导得到每层区域含波幅度的电磁场表达式。在此基础上,数值计算了贝塞尔涡旋光束在浅海中跨海-空界面的传播。结果表明,贝塞尔涡旋光束在空气中产生的电磁场呈轴对称分布,电场z分量和φ分量的幅度远大于磁场z分量和φ分量的幅度。而且电场φ分量的幅度在中心环上比较突出,随距中心环的距离增加而剧烈衰减。