路径规划问题是一个非常经典的问题,在很多领域有广泛应用,通过深度强化学习技术来解决路径优化问题近年来吸引了大量学者关注,已成为路径规划问题的热点方向。具有强大感知能力以及决策能力的深度强化学习技术,既可以很好的感知环境场景,又可以高效的决策,在解决路径规划问题时有很强的鲁棒性以及通用性。当使用深度Q网络（Deep Q-Network,DQN）算法解决离散型的路径规划问题时,网络训练速度比较慢,训练时间比较长;并且当机器人只能获取局部环境信息时,DQN算法找到路径的成功率不高。当使用深度确定性策略梯度（Deep Deterministic Policy Gradient,DDPG）算法解决连续型的路径优化问题时,网络的训练时间以及寻路时间都较长。针对以上问题,本文主要工作如下所示:（1）针对DQN算法在解决离散型路径规划问题时网络收敛慢,训练回合多的问题,提出基于概率的状态探索DQN算法。通过修改Q值的计算方式,使得某个状态出现的次数越多,该状态的出现的概率会降低,从而更好的探索新状态,提高网络训练效率。并在对比实验中,验证了该算法在提高网络收敛速度上的有效性;针对DQN算法在获取局部环境信息情况下解决离散型路径规划问题成功率低的问题,提出基于长短期记忆（Long Short Term Memory,LSTM）网络的DQN算法。通过在网络结构中加上一层LSTM网络,使神经网络可以处理状态、动作序列数据。并在对比实验中,验证了该算法可以极大的提高寻路的成功率。（2）针对DDPG算法在解决连续型路径规划问题时,预置奖励函数导致训练时间和寻路时间都比较长的问题,提出基于奖励塑造的DDPG算法。通过将奖励函数用卷积神经网络来模拟,动态优化奖励函数。并在对比实验中,验证了该算法可以有效减少网络训练时间以及寻路时间。（3）设计并实现了Unity环境中的智能寻路系统。使用Unity游戏引擎、C#编程语言、Python编程语言、Tensor Flow深度学习框架、机器学习智能体（Machine Learning Agent,ML＿Agent）插件设计并实现Unity环境下的智能寻路系统。该系统主要包括客户端层、代理层、接口层、算法层四个功能模块,实现了在自定义的Unity迷宫场景中训练并找到终点。