航母/舰载机系统是海军最强大的武器系统,但是受跑道狭窄、甲板运动、海况复杂等因素的影响,舰载机进近着舰一直被视为一项高难度、高风险的任务。自动着舰系统是全天候高强度作战能力的基础保障,能引导和控制舰载机在各种天气、海况下安全着舰,使着舰难度大大降低,研发舰载机自动着舰系统对提高我国海军国防军事力量具有重要意义。强化学习在解决序列决策问题上具有先天优势和成功实践,本文尝试用强化学习方法解决舰载机自动着舰问题。传统的强化学习方法要求智能体处于稳定环境中,但是着舰环境往往处于动态变化中,对自动着舰智能体的训练及应用产生很大影响。因此,本文除研究自动着舰算法外,还研究了如何针对变化较大的着舰环境,提高强化学习智能体的泛化能力的问题,主要包括以下内容:首先,分析了动态环境下舰载机着舰过程的主要影响因素。通过分析发现,航母运动导致理想着舰点位置的偏移,使着舰任务的目标发生变化,而大气扰动导致飞机位置偏离标准下滑道,并且使环境动力学模型发生变化,对训练过程产生影响。因此,本文将着舰过程中的航母运动和大气扰动视为影响着舰成功率的主要因素,并在仿真实验环境中进行相应设置来模拟动态变化的着舰环境。然后,设计了基于DDPG的舰载机自动着舰算法。针对航母运动和大气扰动带来的问题,一方面建立了能适应航母运动的MDP模型,另一方面从记忆库中抽取训练样本时用分层抽样取代简单随机抽样的方法,减小了大气扰动导致的数据分布的变化及其在训练过程中产生的波动。在仿真实验环境下进行实验,验证了算法可以适应着舰过程中的航母运动和大气扰动,在此基础上通过改变不同的航母速度验证了算法对不同着舰环境的泛化能力。进一步,对于与训练环境差异较大的着舰环境,本文将不同环境下的着舰任务视为不同的强化学习任务,提出了基于模型的迁移强化学习算法(MBTRL)。MBTRL在源环境中预训练时同时学习策略模型和环境模型,在目标环境中应用时先对环境模型进行迁移,再借助环境模型完成策略模型的迁移,从而快速适应目标环境。在统一的强化学习实验平台下进行实验,实验结果表明,MBTRL在新环境中的学习速度、跳变启动都有明显提升,渐进性能的提升在环境差异较大时更为明显。最后将MBTRL应用到着舰问题中,在仿真实验环境下进行不同环境下的着舰实验,实验结果显示出了MBTRL良好的适应能力,有效解决了环境变化较大时着舰成功率降低的问题。