基于经验共享强化学习的人群疏散仿真方法研究

来源 :山东师范大学 | 被引量 : 0次 | 上传用户:woyaoqian115
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
我国目前发展迅速,人群聚集现象变得非常普遍,突发事件日益增多。尤其是在学校和火车站等人员众多的公共场所,事故更是频发。目前人群能否迅速成功疏散是许多公共场所的主要安全问题,之前的一些人群疏散演练不仅效果不佳,而且成本普遍较高,对于偶然事件中的随机情况并不能进行有效模拟。现在通过使用计算机技术可以进行模拟人群疏散,而且可操作性更强,消耗的成本也更少,人群模拟技术在近几年来也引起了广泛的关注。通过深入的研究分析人群疏散运动,利用某些疏散场景建模和疏散仿真来设计最佳的疏散计划,可以更好的帮助人们安全逃生,对于人类来说意义是非常大的。可以实现群体运动的疏散仿真方法已经有很多,虽然目前已有方法通过强化学习来规划路径,但是这些方法仍有不足,计算量普遍比较巨大,而且聚集疏散过程较为缓慢。针对上面提出的问题,本文对多智能体强化学习算法做了进一步的改进,更注重于智能体之间的交流共享,提出了经验共享的理论概念,并且将该算法应用到了人群疏散中。该方法使用两层控制机制,上层引领者使用基于经验共享强化学习算法的决策过程来选择路径,下层人群进行疏散时主要通过改进的社会力模型来指导。本文将改进的两种方法结合在了一起,改善了这两种疏散仿真方法独自使用时的不足。宏观疏散方法主要是通过多智能体强化学习算法来进行总的路径规划,然后从真实视频中得到的行人轨迹的交点用作强化学习的状态空间,将人群进行分组并选择引领者。在强化学习算法中添加公告板,用来存储学习过程的经验知识,导航代理在引领者和公告板之间传递信息。微观疏散方法采用改进的社会力模型对人群运动进行指导,本文将所提的改进强化学习算法与改进的社会力量模型有效的结合使用,并且在人群疏散仿真实验中进行了实际的运用,成功的提高了疏散效率。最后,本研究在项目组实验平台的基础上,重新建造了仿真平台,该平台是以本文所提算法为基础的,并对算法进行了充足实验,得到有效性的证明。本文的工作主要可分为三个部分,下面将对其进行简要的阐述:1.针对社会力模型中对群组内个体之间关系考虑的不足,提出了一种基于聚合力的改进社会力模型。社会力模型中没有考虑人群之间的联系,认为行人都是单独运动的,而在现实生活中大部分人群都是小群体运动的。因此,本文采用的是双层机制的模式,下层运动再用社会力模型,并且我们受力公式中加入一个聚合力,同一组内相互有联系的行人在聚合力的作用下会相互吸引,有亲密关系的行人会聚集在一起,使疏散更加逼真。2.提出了一种基于经验共享的改进强化学习算法,在原始算法中加入了经验共享,并且成功结合了多智能体系统。一般来说强化学习算法的训练时间是比较长的,智能体之间没有交流沟通,学习效率较低。因此,本文首先通过利用轨迹视频工具,从真实视频中提取出行人轨迹的交叉点作为疏散导航点,也就是强化学习的状态空间,减少了状态空间的数量。增加公告板来让智能体共享经验知识,互相交流通信,使得强化学习的盲目试错转换为了路径查找选择,从而减少了强化学习频繁试错的过程,能够快速的为疏散人群提供可靠的疏散路径。3.将改进的强化学习算法与改进的社会力模型相结合,提出了一种新的人群疏散仿真系统。该系统基于Microsoft Visual Studio 2013、MFC开发完成,并应用于基于XNA Game Studio 2013开发的真实感渲染平台中,实现了场景建模、全局路径规划、群体运动仿真和运动状态展示等功能。并以多种场景为例,进行疏散仿真研究与分析,并将仿真结果利用真实感渲染平台渲染输出进行展示。实验结果表明,本文所提出的仿真方法能够较为高效地进行仿真,对真实场景下的人群疏散具有一定的参考价值,证明本文的方法有效的提高了疏散效率。
其他文献
多层螺旋CT(multi-slices computed tomography MSCT)以其良好的影像特点是CT发展史上的又一个里程碑,MSCT应用范围非常广泛,其优越性与先进性现已得到医学界的一致公认[1],
目的:观察乳酸左氧氟沙星治疗下呼吸道感染的临床疗效和安全性.方法:120例患者随机分为两组,乳酸左氧氟沙星为治疗组, 每天0.4g;洛美沙星为对照组,每天0.4 g,疗程7~10d.结果:
目的探讨慢性萎缩性胃炎的中医证型分布与幽门螺旋杆菌(Hp)感染及胃黏膜癌前病理变化之间的关系。方法统计170例慢性萎缩性胃炎患者的中医证型分布、Hp感染情况及胃黏膜病理
自1999-12~2002-08我们应用疏血通注射液治疗急性脑梗塞34例,取得了满意的疗效,现报道如下.
我院自1999-05~2002-05 收治11例因插秧致腕背部伸肌腱自发断裂的患者,经手术治疗,效果满意,报道如下.
为持续消除碘缺乏病危害,提高民族素质,促进崇州经济的发展,按照卫生部<全国防治碘缺乏病监测方案>的规定和要求,于2003-10对崇州市部份乡镇进行了碘缺乏病防治监测,现报告如
李样云教授擅用膏方调治妇科疾病,疗效颇佳。围绝经期子宫肌瘤,临床治疗存在诸多矛盾,随着卵巢功能下降,肌瘤可能自然萎缩,期待疗法和手术治疗各自利弊,如何避免手术切除又可