基于深度强化学习的终端区飞行冲突与调配

来源 :四川大学 | 被引量 : 0次 | 上传用户:BrokenDoor
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
终端区是空中交通管制的重要部分,其任务是引导飞行器起飞、降落和有序进离场,随着空域内飞行器数量的增加,终端区空中流量增大,容易导致飞行冲突,引发空中交通阻塞和航班延误,影响飞行安全,因此研究终端区飞行冲突调配具有重要意义。终端区飞行冲突调配是根据当前飞行器参数,判断未来一段时间内飞行器之间的距离是否会小于安全间隔的规定而导致冲突,并对可能的潜在冲突采取措施避免发生碰撞的过程。本文在现有空中管制技术基础上,对终端区空域结构进行划分,设计飞行进场航线,建立移动时隙,规定进入终端管制区域的飞行器按照进场航线降落在机场跑道上。针对进场过程的飞行冲突调配问题,采用多智能体强化学习理论,将求解过程描述为多智能体之间交互协作的马尔可夫博弈模型,在模型中,每架飞行器单独作为一个智能体,智能体通过观察空域中的其他智能体的状态和动作,调整自身的加速度进而改变速度避免飞行器之间发生碰撞,并加入时隙,根据飞行器之间的相对距离和速度关系,设计智能体的奖励函数,使多智能体系统整体获得最大奖励。最后在空中交通管理仿真软件Bluesky中,结合深度学习Pytorch框架和强化学习Gym环境搭建实验环境,采用多智能体MADDPG算法解决终端区空域内的飞行冲突调配问题,并与其他算法进行比较。
其他文献
空中管制的智能化发展使得对智能飞行控制提出了更高的要求。目前为解决终端空域繁忙、结构复杂等问题,智能空管系统一般使用移动时隙对飞机进行调度。这意味着当飞机进入终端区域接收到加入时隙命令时,飞机应具备自主寻找路径加入时隙的能力。然而在空域结构较为复杂的终端区域内,传统的飞行控制方法依赖于已有的航程数据、精确的数学模型,当飞机的连续运动发生突变时,不能达到飞行目的,给时隙的调整和加入造成困难。在这种情
在基于生物特征识别的身份核验系统中,说话人识别技术相较于其他生物特征识别技术具有很多优势。由于实际使用中的身份核验系统对识别准确率、系统鲁棒性有着极高的要求,而目前说话人识别技术水平还很难满足系统的这些性能需求,因此该技术仍处在技术研究阶段,并未大规模在实际场景中应用。为提升模型的识别性能和模型的鲁棒性,本文对说话人识别中的关键技术:语音特征提取、损失函数与识别模型结构三个方面进行了相应研究。本文
在法医学身份认定实践工作中,传统主流方法是DNA对比、指纹识别、面部识别等。但是在大规模灾难发生的时候,尸体经常出现腐败化、白骨化、焚毁化等极端现象,前述传统方法难以应用。能否及时、准确地识别死者的身份,对于加快灾后重建,稳定遇难者家属的情绪至关重要。颅骨的蝶窦部位因为具有生物特异性以及抗物理损毁能力,在大规模灾难发生时,通常被法医学专家选作参考资料实现死者的身份认定。既往法医放射学专家通常利用蝶
低空监视雷达是基于三坐标的一次监视雷达。雷达有效工作范围为50km,搜索高度最高为3km,主要是对近低空的低小慢目标进行跟踪。低空监视雷达工作环境复杂,易受气象条件、地杂波、多役干扰等因素的影响。为解决在杂波密集情况下低空监视雷达目标跟踪算法性能效果不佳的问题,本文提出了基于机器学习的航迹起始分类算法和基于模糊聚类的联合概率数据关联算法,以提高目标跟踪的正确率,并满足实时性要求。基于机器学习的航迹
飞行冲突识别与调配活动在实际管制过程的占比较大,对该活动事项展开研究并研发出相应的辅助决策系统可以减轻人员的工作负荷和增强空管的服务能力。本文提出了基于神经网络的冲突识别与调配模型,通过学习历史数据获得管制员的管制策略,然后提供可被信赖的飞行识别与调配功能并完成相应系统模块程序的编写。探究相关的理论知识,该技术理论的研究往往结合航空器的运动学建立相应的数学模型,冲突识别尚可获得相对良好的效果但给出
CT技术因其成像清晰、扫描速度快等特点在临床筛查、病情追踪医学领域得到了广泛应用。CT技术的出现为医生诊断病情提供了有效的参考,但近来有研究表明CT拍摄时产生的辐射会对病人的身体健康带来很大的隐患。因此人们也越来越重视CT技术中的X光带来的危害。研究人员尝试降低辐射剂量来减少对病人身体的危害,但实验结果表明,降低辐射剂量将直接影响图像质量的好坏,因为会导致获取的图像产生噪声和伪影,不利于医生对疾病
十三届全国人大四次会议报告显示,2020年检查机关起诉涉嫌犯罪的未成年人的人数高达3.3万人,恶性案件低龄化的犯罪趋势使得国内对于未成年人骨龄鉴定需求有所增多。在国内的司法领域中,骨龄鉴定作为证据在对嫌疑人判刑方面发挥了巨大的作用。目前国内的骨龄鉴定主要依靠人工鉴定,依赖骨龄计分法对手骨发育进行等级评分得到预测骨龄,其缺点是需提前掌握相关知识并需要进行繁琐的操作,对于非专业人员来说是比较高的门槛,
近年来,民用航空产业进入到了一个高速发展期,未来的空中交通将越来越密集,空中交通管理正成为一个日益重要和复杂的研究领域。4D航迹预测是航空运输系统的核心要素,旨在提高空中交通的运行能力和可预测性,精确的航迹预测可以有效解决空域资源紧张的问题,并在冲突探测与解脱、协同管制等领域具有重要意义。随着数据挖掘与人工智能技术的飞速发展,越来越多的历史航迹数据可用于空域态势分析和监控,将其有效运用于智能空管系
时间性反走样算法具有效率优势,是近年来被广泛应用的实时反走样算法之一。该算法通过将采样点平摊至历史多帧及复用历史数据的方式来实现实时反走样。在时域信息采样充分且历史数据可复用的前提下,该算法能取得和超采样反走样算法类似的效果。然而在实际应用中,上述条件并不一定完全成立。在历史数据不能被复用的情况下,将产生几何走样及重影等问题。除此之外,为了降低显存成本,该算法使用累积帧来代替历史多帧,这将导致误差
随着现代战争不断向着信息化、智能化的方向发展,飞行器自主机动决策技术作为提升战斗机智能化水平的关键技术,也越来越受到世界各国的关注。现代空战环境复杂、态势瞬息万变,能够准确感知空战环境并生成合理决策的自主机动决策方法技术是近几年来军事技术研究的重点。近年来,随着人工智能技术研究的不断深入,深度强化学习方法在多种决策问题的解决上取得了一定的突破,为飞行器机动决策问题的解决提供了新的思路。本文以三维空