多智能体系统是当前人工智能领域的一个研究热点。多智能体系统是一个复杂、动态的环境,系统中问题求解空间巨大,智能体行动策略的设计比较困难并且低效,因此学习技术是多智能体系统中不可缺少的一部分。 多智能体学习存在以下难点:智能体对环境仅部分感知、学习搜索空间太大、学习效率低等,事实上,现有的学习方法多是针对单智能体的,其中任何一种都不能有效解决以上问题,基于此,在综合多种学习方法的基础上,本文做了以下工作: 提出基于统计的多智能体Q学习算法,将统计学习引入增强学习中,通过对智能体间联合动作的统计来学习其它智能体的行为策略,策略向量选取的全概率分布保证了智能体对最优动作的选择,确保了算法的收敛,该算法将多智能体环境下的Q学习空间由指数空间降为线性空间,有效地提高了学习效率;提出基于预测的多智能体Q学习算法(模型),通过引入预测技术对系统状态进行预测,加快了学习的收敛速度,同时,在模型中采用规划技术应用先验知识来解决部分感知问题,该算法的学习性能优于传统的Q学习算法;由于文中的增强学习算法需用到神经网络学习,本文在对BP神经网络学习算法研究的基础上,提出了神经网络扰动学习算法,算法的学习过程类似模拟退火过程,这确保了算法能收敛到全局最优点,有效地克服了BP算法中局部收敛的问题;最后,将提出的学习算法成功应用到RoboCup仿真球队的构建中,并在2004年中国机器人大赛实践中得到了检验。