深度强化学习在室内引导机器人中的应用

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:shhgay
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前机器人已经从制造业领域迈向非制造业领域,越来越多的服务引导机器人应用于日常生活中。路径规划是所有具有移动能力机器人不可避免的问题。对于该问题,传统方法存在着计算时间过长,效率低,对不同环境泛化性差等弊端。本文针对这一问题使用深度强化学习的方式代替传统方法,不需要提前对环境信息进行描述,将传统算法繁琐的规划流程转化为一种端到端的决策过程,根据当前机器人所处状态信息通过神经网络直接映射出动作指令,并且能够使机器人具有连续导航的能力。本文的具体研究内容如下:首先,分析了传统算法性能不足的原因,针对室内环境下的导航方式提出了基于深度强化学习的解决思路。其次,将深度Q网络与路径规划问题紧密结合,构建了契合研究目标的状态空间、动作空间、奖惩制度,搭建了合适的神经网络结构。并将算法进行了改进,把传统算法对单一目标位置单次规划的方式改变为对多个目标位置进行连续的多次路径规划方式。使用机器人操作系统开发平台搭建了三种室内环境以及机器人模型用于仿真实验。最后,进行了三类性能测试:(1)从复杂度由低到高在三种环境下分别验证算法的导航效果,结果表明三个场景下训练后的模型都能够使机器人在一段时间内以较优的路径完成对不同目标连续的导航规划。(2)将训练好的模型运用于相似场景下测试其泛化性,发现奖励值很快收敛,证明了该方法的泛化能力。(3)与边建图边导航方式的A*算法和Dijkstra算法做了比较,研究表明使用深度强化学习的方法具有更高的实时效率。
其他文献
随着全球能源互联网战略的实施,基于模块化多电平换流器的柔性直流输电技术(Modular Multilevel Converter Based HVDC,MMC-HVDC)凭借其输出波形质量高、可独立快速的调节有功功率和无功功率、易于拓展和实现多端直流输电等优势得到了广泛的应用。使之成为输送风力、太阳能发电等清洁能源发电的重要输电手段。因此对于研究MMC-HVDC系统的运行控制策略和故障保护等方面具
翻译后修饰指的是修饰基团添加到翻译后蛋白质的一个或者多个氨基酸残基上,可改变该蛋白的空间构象和生物学活性。翻译后修饰广泛参与调控细胞周期、增殖、凋亡、分化基因表达、信号传递等一系列生命活动,异常的翻译后修饰与疾病和肿瘤的发生密切相关。组蛋白泛素化是共价翻译后修饰之一,泛素化修饰过程通常由泛素激活酶E1、泛素结合酶E2和泛素连接酶E3共同调节完成整个泛素级联反应。真核细胞中,染色质是由基因组DNA缠
自钾离子被证实可以在石墨层间自由嵌入/脱出以来,新型钾离子电池的开发便成为储能领域的又一前沿热点。现阶段钾离子电池负极研究中,合金型负极和转换型过渡金属硫化物由于
自加入世贸组织以来,中国在国际贸易方面已经取得了显著发展,从事进出口贸易的企业也不断发展壮大。然而,中国的对外贸易也面临一些棘手的问题。其中,《中国加入世贸组织议定书》第15条(也即“落日条款”)规定了其他WTO成员方可以基于此条款在反倾销调查中对来自中国的进口产品使用特殊的价格比较方法,这对于最终是否构成倾销以及倾销幅度的确认存在重大不利影响。“落日条款”本该依约定于2016年到期,并就此对中国
蝴蝶兰(Phalaenopsis aphrodite Rchb.F.)是兰科蝴蝶兰属(Phalaenopsis)多年生草本花卉。因其颜色鲜艳、朵形优美,形似蝴蝶深受人们的喜爱。目前在市场上应用广泛,主要用于节
我国乡镇卫生院为农村居民提供卫生医疗服务,是公益性、综合性的基层卫生医疗机构,处于我国农村三级卫生医疗服务体系的中枢环节。乡镇卫生院功能发挥对为人民群众提供全方位全周期健康服务的“健康中国”战略在农村地区的实施、对以农村和基层为重点的国家卫生医疗体制改革具有重大影响。邗江地处我国经济社会最活跃地区长三角城市的扬州市,该区是典型的城市新中心城区+近郊城区,邗江乡镇卫生院的发展经历了公有制、市场化、重
青年是国家和民族的未来和希望,在实现伟大民族复兴的历史征程中,青年始终是急先锋。在中国共产党领导的中国特色社会主义现代化建设中,青年始终都是重要的群众基础,将青年培养成为合格的社会主义建设者和可靠接班人是新时代青年教育工作的重中之重。青年时期是人生趋于成熟的重要阶段,是世界观、人生观和价值观日趋稳定的时期,党的历届领导人都对青年思想政治教育工作给予了高度重视。党的十八大以来,习近平总书记的系列重要
牦牛作为高原地区重要的经济物种,是当地人民赖以生存的生产资料。但其繁殖力低下,很大程度限制了高原地区的经济发展。卵丘细胞作为有腔卵泡中主要的细胞之一,其生长发育对卵巢和卵母细胞的发育起着关键调节作用,故此卵丘细胞功能的研究对于提高哺乳动物繁殖效率有重要意义。SIRT3是组蛋白去乙酰化酶家族的成员之一,目前对它的研究主要集中在基因表达、代谢调控、癌症和衰老等方面,然而对于其在卵丘细胞中的功能知之甚少
天然气水合物作为21世纪新型环保型能源之一,具有热值高,储量丰富等优点。世界范围内水合物总资源量约为2×1016 m3,其中99%分布于海洋,广泛分布于深水海底浅部地层。根据成
目的探讨老年腹腔镜结直肠癌手术患者,术前口服能量合剂的安全性以及对术后胃肠功能的影响。方法择期行腹腔镜结直肠癌手术的老年患者25例,年龄65-80岁,BMI18-23kg/m2,ASAⅡ-Ⅲ级。按随机数字表法随机分为术前口服能量合剂组(A组),和常规禁食组(B组),每组11例。A组患者于术前2小时口服能量合剂200ml;B组术前常规禁食8-12小时。两组患者入手术室后行口渴、饥饿、焦虑评分,麻醉前