随着近年来作战仿真技术的飞速发展,基于仿真技术的指挥训练能够有效提升人员训练的训练效果和组织效率。而在军队信息化水平逐步提升的过程中,作战力量呈现小型化和多能化的发展趋势,使得以分队为主体的基本作战单元的地位更为重要。研究分队级作战仿真系统,以弥补传统军事训练中对抗性弱等缺点,对于提高营、连、排一级指挥员的指挥技能有着重要的意义。构建逼真的计算机兵力（Computer Generated Forces,CGF）行为模型对于提升分队级作战仿真系统的性能有着重要的影响。路径规划是CGF认知行为建模中的关键内容之一,对多种高层智能行为（如决策、规划、协同等）的实现起到支撑作用。而目前在分辨率是营以下、模型颗粒度细化到单兵、单装、单车的分队指挥训练模拟系统中,动态陆战场环境中多自由度CGF路径规划是一个亟待解决的问题。为满足实际仿真系统的应用需求,动态环境中多自由度CGF路径规划算法必须到达以下三点要求:算法的实时性、结果的真实性和环境自适应性。基于空间表示模型的全局路径规划算法虽然可以满足算法实时性的要求,但是其无法满足CGF的动力学约束且仅能用于静态环境。而目前基于强化学习的路径规划算法虽然能有效应对动力学约束,且能通过赋予CGF学习能力来增强环境自适应性,但是将该类方法应用于本文所研究的路径规划问题仍面临三点挑战:易陷入局部极小区域、奖励稀疏和环境部分可观。为解决上述挑战,一方面,本文考虑在初始全局信息已知的动态环境中,提出了层次化路径规划架构。该架构分为两层,高层通过采用全局路径规划算法来生成子目标序列,从而帮助底层避开局部极小区域;底层通过采用基于强化学习的局部运动规划算法来生成满足动力约束的可行轨迹。在此架构下,针对离散动作空间,本文采用基于线性基函数的强化学习方法来构建局部运动规划的白盒模型,将其与简单子目标图算法相结合,提出层次化路径规划算法SG-RL（Subgoal Graph-Reinforcement Learning）;针对连续复杂状态动作空间,本文采用深度强化学习方法来构建局部运动规划的黑盒模型,并将其与改进的跳点搜索算法相结合,提出了层次化路径规划算法JPS-IA3C（Jump Point Search-improved Asynchronous Advantage Actor-Critic）。另一方面,本文考虑在初始全局信息未知的动态环境中,提出了基于记忆与领域知识的路径规划算法MK-A3C（Memory and Knowledge-based Asynchronous Advantage Actor-Critic）。该算法在A3C基础上引入了记忆机制与领域知识,来为CGF构建信念环境模型和改进的训练任务架构与奖励函数,以克服上述提及的三点挑战。仿真实验结果表明,本文所提出的基于强化学习的路径规划方法能够避开局部极小区域,应对奖励稀疏引起的策略无法收敛的问题,和克服动态环境中状态部分可观造成的信息缺失的问题。此外,所提出的方法能够满足分队级作战仿真系统所提出的实时性,真实性和自适应性的要求。