自主装修机器人在执行各种任务时需要在装修环境中来回移动。自主路径规划能力是一个移动机器人智能化的重要衡量因素。这要求移动机器人能够主动感知环境信息,然后利用环境信息做出导航决策。在动态环境中,移动机器人对于环境全局信息的认知是不足的,其通过传感器主动感知环境局部信息来规划自己的路径。因此,对环境信息理解和利用的能力是移动机器人实现自主路径规划的关键。本文主要的工作如下:1.使用ROS和Gazebo创建移动机器人仿真模型,搭建仿真实验环境。移动机器人通过自身搭载的激光雷达传感器和速度里程计传感器,获取环境局部信息和自身状态信息。本文采用全连接神经网络处理激光雷达信息和机器人自身状态信息。本文使用结合值函数和策略函数的近端策略优化（PPO）深度强化学习算法训练移动机器人学习和掌握路径规划的能力。2.为了更好的将深度强化学习应用于移动机器人路径规划任务,本文设计了一套针对移动机器人路径规划任务的势能奖励函数,该势能奖励函数在不会改变最优策略的基础上,给移动机器人加入了导航任务的先验知识,从而加快移动机器人的学习过程。同时,为了解决深度强化学习中的长序列决策过程中奖励延迟带来的信用分配问题,本文设计了一种基于情景回合的信用分配模型,将每个情景回合结束时奖励再次分配给轨迹序列之前的动作,从而减小累计回报的方差使训练更平稳,同时提高样本利用效率,加速学习任务过程。3.为了提高移动机器人适应动态环境的能力,本文将动态环境中对应关系建模为一种分布,设计了一种预测分布的辅助任务模型。该辅助任务模型使用两个神经网络输出上述分布的奖励均值和方差,然后与真实的奖励值进行回归训练。针对辅助任务模型,本文使用具有自适应的回归损失函数,通过最小化回归损失函数训练辅助任务网络。深度强化学习模型和辅助任务模型之间通过硬编码的方式共享隐藏层的特征信息。通过共享特征信息,移动机器人在学习路径规划任务的时候,辅助任务能够帮助其更好地了解动态环境,从而提高了移动机器人适应动态环境的能力。