该文先介绍了增强学习的基本理论和经典算法,在经典方法中,价值函数用和状态一一对应的查找表方式表示的,随着状态的增多,将陷入维数灾问题,因此,接下来对经典算法中计算价值函数的方法加以改进,不再精确表示,而改用梯度下降等监督学习的方法来对价值函数进行函数逼近,这样可以极大地扩展增强学习的适用范围文中给出了几种梯度下降方法,并对它们的收敛性进行了比较.另外,针对基于价值函数的学习方法的固有弱点:对价值函数的估计出现的小偏差可能导致最终结果的大偏差,又给出了直接增强学习方法,即根据从策略到反馈的不通过价值函数直接映射,使用梯度上升的方法,对策略空间进行直接搜索.这也可以看成非经典的增强学习方法.该文还进行了一些增强学习方法在agent路径规划问题上的实验研究,包括单agent系统和多agent系统,在这些实验里,我们综合使用了多种增强学习方法和技巧.从实验中可以看出,通过试错法,agent不但可以适应即使是动态的环境找到最优路径,而且还会逐渐形成合作、竞争等关系;另一方面,恰当地综合运用多种学习方法,将会使得学习效率大大提高.