基于深度强化学习的群无人艇智能避碰研究

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:chen6524
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
水面无人艇作为一种在海洋环境下自主航行的水上移动平台,在海洋科考、海事监管、海洋开发等领域得到了大量应用,有力助推了海洋强国战略进程。但在某些应用中单一无人艇无法完成任务,需要多艘无人艇协同作业,即群无人艇作业。群无人艇航行极大地增加了无人艇碰撞概率,碰撞会直接影响无人艇的航行安全和作业任务,因此一直被学者视为重点研究对象。
  为解决群无人艇避碰问题,本文从避碰的3个方面分析:(1)群无人艇避碰必然需要获取周边障碍物信息,这就要求其具备自主感知能力,能够科学表征水域环境障碍物;(2)无人艇航行于开阔水域,在既定的水上交通规章制定下,为实现群无人艇避碰,要求无人艇遵守COLREGS规则航行;(3)群无人艇避碰会遇态势复杂,场景动态多变,现有通常的方法往往难以实现快速避碰决策,需要一种新型智能避碰方法解决群无人艇避碰问题。
  结合上述分析,本文面向群无人艇避碰问题,首先研究分析了现阶段无人艇避碰的可行方法;同时借鉴船舶避碰理论和方法中的宝贵经验,根据无人艇和船舶的相似特征,得出群无人艇避碰的关键研究点。
  其次,比较并分析无人艇避碰中可用的环境感知方法,选取适合无人艇避碰的激光雷达作为环境感知传感器;并利用点云处理算法构建环境障碍物模型,实现无人艇自主感知避碰环境的能力。
  随后,以无人艇操纵性为基础,解析COLREGS涉及到的避碰条款,得出无人艇遵守避碰规则的量化标准,进一步分析群无人艇避碰复杂场景下的规则限制条件;同时,为使无人艇避碰动作更加统一协调,采用卡尔曼滤波方法预测障碍物运动轨迹。
  进而,在以上基础上设计了群无人艇智能避碰模型(Swarm of USVs Intelligent Collision Avoidance Model,USVsICAM)。此模型利用深度强化学习的原理设计,对避碰环境具有良好的适应性,能够在复杂态势下快速实现群无人艇避碰决策。在USVsICAM模型中,无人艇会遇态势被表征为环境观察值;根据环境观察值,决策神经网络计算出避碰决策集合;根据决策的实际避碰效果,评判神经网络计算奖惩值;根据奖惩值,决策神经网络更新网络参数;不断重复上述过程,直至决策神经网络损失值降到最低。模型在迭代训练中,会自主学习避碰策略,最终达到避碰策略最优。
  最后,本文采用仿真模拟的方式验证USVsICAM的有效性。多个仿真算例结果证实,USVsICAM能够不断学习各类会遇态势下的群避碰策略,有效地实现了多种复杂场景下的群无人艇安全、智能避碰。USVsICAM具有较好的适应性,在复杂群避碰场景中具有广阔的应用前景。本文为解决复杂会遇态势下的群无人艇避碰问题提供了有益的理论指导和技术支持。
其他文献
机会阵雷达(Opportunistic Array Radar,OAR)是一种高性能的新型雷达系统,该雷达系统基于数字阵列技术可同时实现多种功能与多种模式的一体化。与传统雷达的阵列分布不同,机会阵雷达阵列单元可以根据需要放置在任意位置。多波束形成技术是实现机会阵雷达的一个重要步骤,本文围绕机会阵雷达数字多波束形成技术展开研究,主要工作如下:  1.本文在研究机会阵雷达原理及其波束形成技术的基础上,
电子战是当今军事活动中不可或缺的一个环节,本质上是通过处理战场上不同频段的各类电磁信号,在充分保障自己安全的前提下赢得军事对抗中的主动权。近年来,人工智能是非常火热的话题,机器学习又是实现人工智能的一个重要途径,未来的电子战必定会广泛使用机器学习算法。本文从信号分选、雷达行为分析和雷达抗干扰三个场景出发,并通过一些机器学习算法对每种场景进行分析。  首先,雷达信号分选是最常见的电子战应用。信号分选
学位
近年来光量子信息通信技术迅速发展,为了读取光子信息就需要研发针对光通信波段的高性能单光子探测器。低温超导探测器凭借极低温下对热噪声的有效抑制,以及超导能隙远低于光子辐射能量而具有极高响应度的优势,逐渐在众多单光子探测器中脱颖而出。本论文以超导微波动态电感单光子探测器(Microwave Kinetic Inductance Detector,MKID)为研究对象,以优化MKID主要性能指标为研究目
模块化仿蛇机器人多关节、超冗余自由度的特性使其能够根据环境变化灵活改变相应运动形式,具有极强的地形适应能力。将此类机器人应用于灾害搜救、军事侦察、管道巡检等领域,将极大提高机器人在以上复杂、受限、非结构环境中的工作效率。目前国内外对仿蛇机器人的研究主要停留在对生物蛇身体结构以及少数几种蛇类运动步态的模仿,机构设计的局限与运动控制方法研究的不完善使其环境适应能力与运动效率难以提高。因此,本文重点研究
砂性地层具有石英含量高、粘聚力低、流塑性差、结构松散的特点,具有很强的磨蚀性,导致盾构刀具在掘进过程中常发生磨损破坏。刀具磨损是一个复杂的多学科交叉课题,研究砂性地层盾构刀具磨损机理,对于指导科学施工、延长盾构刀具健康服役时间,实现盾构的长距离掘进具有重要意义。本文结合理论分析、室内试验等开展研究,主要研究内容与取得的成果如下:  (1)基于砂性地层的高磨蚀性特点,比选刀盘刀具的适应性配置,分析切
学位
学位
随着船舶体积的大型化发展,船舶内部的安全管理越来越重要,入侵感知技术在船舶航行安全和人员管理方面具有重要的应用前景。但特殊的船舶结构会对信号传播造成严重的多径干扰,现有的入侵感知方法也不适用于类似船舶这样的动态环境中,为了克服船舶环境的限制性,实现船载环境下的高精度人员入侵感知,本文以WIFI信号的空间传播理论为研究基础,提出了基于信道状态信息的船舶舱室人员入侵感知方法,实现了对船载环境中移动人员
学位
提高大型船舶运输效率、保障运输安全和降低运输成本是当前水上运输业的重要发展方向。然而,大型船舶在靠泊时存在操纵性能低下,船速难以维持舵效的问题。特别是在港口水域,因水深不足和操纵水域面积受限,大型船舶的操纵性能受到严重影响。为提高大型船舶靠泊的安全性和稳定性,在实际靠泊操纵中须借助拖轮、侧推器等辅助机构进行多目标协同作业。同时,有效协同辅助设施实现大型船舶的安全和稳定靠泊是推动大型船舶朝智能化无人
学位
近年来,无人艇技术在民用和军事领域发展迅速。该技术作为船舶工程、物联网、人工智能等多领域、多学科的交叉点,如果在实际工程中能够成功应用,所带来的技术突破将是多方面的,这对于提高中国船舶装备制造水平,发展智能航海技术具有重要的意义。  为将理论研究成果转化到实际工程中,本文设计了无人艇仿人智能运动控制及路径规划系统,将无人艇技术在科研和工程任务中应用,为后续无人艇的控制发展提供了理论和实践基础。本文
学位