【摘 要】
:
星表作业机械臂是星表探测任务中主要的执行单元,随着我国嫦娥探月工程的成功开展以及天问一号顺利登陆火星,为后续诸如地外基地建设、星表大尺度巡视等重要任务的实施提供了可靠的支撑,此类更加复杂、长周期、环境未知的任务场景对星表作业机械臂的自主性和抗干扰能力提出了更高的要求。运动规划技术作为实现机械臂自主操作的重要环节,在学术界和工业界得到了广泛的研究。近些年得益于在线计算以及无模型学习技术的快速发展,基
论文部分内容阅读
星表作业机械臂是星表探测任务中主要的执行单元,随着我国嫦娥探月工程的成功开展以及天问一号顺利登陆火星,为后续诸如地外基地建设、星表大尺度巡视等重要任务的实施提供了可靠的支撑,此类更加复杂、长周期、环境未知的任务场景对星表作业机械臂的自主性和抗干扰能力提出了更高的要求。运动规划技术作为实现机械臂自主操作的重要环节,在学术界和工业界得到了广泛的研究。近些年得益于在线计算以及无模型学习技术的快速发展,基于强化学习的机械臂神经运动规划技术逐渐成为研究的热点,相比于传统的规划方法表现出更强的抗干扰与自适应能力。本文以单智能体机械臂强化学习神经运动规划为基础,提出了对传统单一个体的离散化处理方法,通过离散化后的多智能体集中式强化学习来提升原有单智能体的鲁棒性,从而具备对各类干扰的抗干扰能力。首先,对基于强化学习的单智能体机械臂运动规划方法进行了全面的研究。考虑到动作空间高维连续的特点,采用Soft-Actor-Critic(SAC)算法进行机械臂运动规划任务的学习训练。针对学习过程中规划精度越高训练越困难的瓶颈,结合对五种课程学习方法的分析,本文提出将人工势场法和强化学习相结合进行规划的新思路,通过设计灵活的切换机制,实现距离目标较远时采用强化学习进行规划、距离小于阈值时切换为人工势场进行规划,同时提高了学习的速度及精度。通过在仿真引擎中对不同精度的规划任务进行训练和测试,验证了所提方法在高精度规划任务中的优势。最后,结合真实场景下的机械臂静态、动态抓取任务,验证了将学习到的规划策略网络直接迁移到真实机械臂上进行使用的可行性。其次,针对神经运动规划器抗干扰能力弱的问题,在单智能体机械臂运动规划研究的基础上,给出了离散化后的“多智能体”机械臂强化学习运动规划方法。通过对机械臂关节图的建立和关联关系分析,提出了对单一机械臂的多智能体分解的新方法,并给出了基于集中式学习架构的多智能体SAC强化学习方法与人工势场相结合的多智能体运动规划实现框架。最后在仿真引擎中进行了多智能体强化学习运动规划的训练和测试,通过在运动规划过程中分别施加动作扰动、关节锁定和观测扰动,有效验证了所提出的离散化后的多智能体机械臂强化学习运动规划方法相比于传统单智能体具备更强的抗干扰能力。
其他文献
现代航空发动机的进一步发展对压气机负荷和效率提出了更高的要求,低反力度压气机作为一种能够保证高效流动及高增压比的新技术,对于改善航空发动机压缩系统性能具有重要意义。叶顶间隙流对压气机的总体性能和内部流动稳定性具有显著影响,但目前对低反力度压气机间隙流动结构的认识仍不完善,内部流动机理亟待探究。本文以课题组前期设计的某三级低反力度高负荷压气机的首级转子为研究对象,针对低反力度跨声速转子叶顶间隙流动的
停泊飞机目标检测对机场交通管控、重点军事基地部署掌握、监控敌方实时军事动态等军民领域均具有重要意义,基于天基光学遥感图像的停泊飞机目标检测识别已成为光学遥感图像处理技术领域的研究热点。基于高分辨率光学遥感图像的停泊飞机目标检测仍存在以下难题:(1)机场停泊飞机目标在高分辨率光学遥感图像中的面积占比小,容易出现计算冗余与正负样本类别不平衡的问题;(2)机场停泊飞机目标种类繁多、尺寸各异、朝向随机、且
我国正处于人口加速老龄化阶段,数量庞大且逐年递增的失能人士对家庭和社会的护理能力提出了严峻的考验。本课题以减轻失能人士身体负担、缓解社会护理压力为目标,提出了一种仅通过锁定家居物品的类别信息来预测隐含的动作意图并根据动作意图自动规划家居任务的方法。主要内容包括基于马尔可夫网的物品—动作意图网建模、基于Q学习算法对用户偏好意图的学习机制建立、基于有限状态机的家居任务操作技能解构与重组策略研究等。具体
传统上,量子理论假设因果结构是确定的,即事件之间有一个明确的因果次序。但是,如果将量子力学的定律应用于因果关系,则事件之间的因果次序并不总是固定的,而是受制于量子的不确定性。这种不确定的因果结构使新的量子信息处理任务成为可能,并为量子引力理论提供方法和工具。基于这样的背景,Oreshkov等人提出了新的量子理论框架:仅仅假设量子理论是局部有效的,而不考虑全局时空因果结构,证明了存在与任何确定因果次
钛合金因其优异的综合性能,在国防和民用工业得到广泛应用。然而,在钛合金的超精密加工过程中存在严重的塑性侧流和弹性回复、容易出现粘刀、刀具磨损严重、难以实现高质量加工等问题,这极大地制约了钛合金的进一步发展。超声椭圆振动辅助切削具有减小切削力、增强散热、延长刀具寿命、改善加工质量的技术优势。因此,本文的研究目标是将超声椭圆振动辅助切削技术引入到钛合金的超精密切削中,开发钛合金的超声椭圆振动辅助超精密
近年来,海洋资源的勘探与开发逐渐受到世界各国的高度重视。自主水下航行器(Autonomous Underwater Vehicle,AUV)作为人类探索海洋的重要工具,凭借其体积小、灵活性好、续航能力强等显著优点被广泛应用于军事和民用领域。在众多自主水下航行器关键技术领域中,目标跟踪与编队控制问题备受研究人员的关注。因此,本文以欠驱动AUV为研究对象,基于非线性控制系统理论、反步控制方法和自适应神
伺服电机驱动技术是数控机床、工业机械人等重大机械系统控制的关键技术之一。在工业机器人系统中,伺服驱动器须频繁对伺服电机进行启停、制动控制,且工况多变,因此极易出现各种故障,从而造成伺服机器人动作故障,严重影响生产效率。对驱动器开展可靠性评估与寿命量化评价相关研究,对制定伺服系统维修计划以及保证系统正常工作具有重要意义与应用价值。本课题以机器人伺服驱动系统为研究对象,开展加速试验设计,退化建模以及可
随着在线社交媒体的蓬勃发展和移动设备的普及,数字图像已成为人们日常生活沟通和交流的重要载体。各大在线服务提供商每天产生、传输、存储不计其数的数字图像。为了节省资源并降低消耗,所有图像在上述过程中都不可避免地受到各种各样的失真干扰。然而,预想达到良好的用户体验则需要较高质量的图像。这就使得如何在现有带宽条件约束下,寻找最优的视觉质量成为当今多媒体领域面临的一项重大考验。因为图像的最终接收者是人,所以
海洋环境影响着水下声传播和潜水器航行,对目标检测与定位、水下通信和对抗等活动具有重要意义。各类水下参数现场测量设备具有时间和空间上的局限性,越来越难以满足水声探测和对抗的需要,如何快速准确获取水下环境参数成为近年来海洋研究领域的热点问题。海洋遥感观测数据具有时间上的连续性和空间上的广域性,且与海洋水体参数之间存在相关性,通过卫星遥感数据重构水下环境已经成为众多学者的研究方向。由于观测卫星在设计时就
充气膜结构具有质量较轻、建造速度快和外形美观等优点,自出现以来被广泛应用于大跨空间结构建筑。目前,世界各地的学者对充气膜结构的结构形式与力学性能开展了诸多研究,并取得了丰硕的成果。然而,传统充气膜结构在近几十年的工程实践中逐渐暴露出一些难以解决的问题,如结构形式单一、整体刚度较小、承载能力不足等,这些日益突出的问题极大地限制了其在建筑工程领域的应用。为此,本文充分考虑充气膜结构的受力特点,提出将传