【摘 要】
:
近年来,随着技术的不断提升,机器人的任务数不断增加,所处环境也变得越来越复杂,对机器人导航、定位的要求也越来越高。因此需要移动机器人可以模拟人类自主感知未知环境,做出动作决策,从而可以自主安全的到达目的地。为了解决在未知复杂环境中,基本深度强化学习方法进行路径规划时收敛速度慢的问题,本文提出基于竞争网络结构的改进DDQN算法(Improved Dueling Double Deep Q-Netwo
论文部分内容阅读
近年来,随着技术的不断提升,机器人的任务数不断增加,所处环境也变得越来越复杂,对机器人导航、定位的要求也越来越高。因此需要移动机器人可以模拟人类自主感知未知环境,做出动作决策,从而可以自主安全的到达目的地。为了解决在未知复杂环境中,基本深度强化学习方法进行路径规划时收敛速度慢的问题,本文提出基于竞争网络结构的改进DDQN算法(Improved Dueling Double Deep Q-Network,IDDDQN),以提高移动机器人路径规划时的能力,使其可以成功避障,保证安全性、鲁棒性和在复杂环境中很好的适应性。主要研究工作如下:首先,为使移动机器人的仿真环境更加接近真实环境,根据运动模型,提出采用ROS系统中的Turtlebot对移动机器人仿真建模,并在模型中添加需要的激光测距传感器,以获得自身位姿和环境信息。利用Gazebo搭建多种样式障碍物的仿真环境,以期能够很好的实现路径规划。其次,为解决机器人在网络学习过程中收敛速度慢的问题,提出采用竞争网络结构与DDQN算法基本网络结合的深度强化学习网络模型。该方法用激光传感器获得数据作为输入,机器人的转向动作的Q值用作输出,建立端到端的学习方式。在网络训练学习过程中,提出将玻尔兹曼分布与?-greedy结合的改进策略,平衡移动机器人在动作选择时探索和利用,合理的选择动作,解决机器人易陷入局部最优的问题,并在仿真实验中得到验证。再次,为解决移动机器人没有先验知识使得学习速度慢、样本缺乏多样性的问题,提出利用改进的重采样优选机制,充分利用已有的经验,加快移动机器人网络学习的速度,避免训练中过估计的问题,提高其学习效率,并在仿真实验中得到验证。最后,为避免在一个环境训练移动机器人可能产生过拟合,先在简单环境下验证IDDDQN算法的有效性,然后将机器人置于不同的复杂环境中再次进行路径规划,并通过仿真实验得到验证。仿真实验证明,IDDDQN算法比其他改进算法更容易获得最优路径,能更好地实现对未知环境的探索。
其他文献
高温超导变压器相较于传统变压器而言,具有体积小、重量轻、环保性能好、安全性高等优势,因此对高温超导变压器的研究成为了新兴电力设备研究的重点。论文针对一台容量为120kVA(6kV/400V)的单相高温超导变压器,对其绕组结构进行设计并展开电磁分析。论文第二章简单地设计了一台单相120kVA(6kV/400V)高温超导变压器的绕组结构。绕组使用的材料为第二代高温超导材料YBCO,高压绕组取8层圆筒结
随着电网规模扩大,异常用电频发造成的电力损失给电力公司带来巨大的经济损失,影响了电力公司的正常运营。由电力用户的窃电、欺诈等用户异常用电行为造成一系列无法用技术解释的损失称为非技术性损失(Non-Technical Loss,NTL)。NTL可能导致电力激增,电力系统负荷过重,电力公司巨额收入损失以及公共安全问题。传统NTL检测方法包括人工检查有问题的仪表及其配置,将异常仪表读数与正常仪表读数进行
随着现代化社会中电力技术的迅速发展,供电模式逐渐从单一的大型水电站、火电站、核电站等集中发电模式转变为以太阳能、风能、潮汐能等可再生能源为基础的分布式供电模式。为了能够将分布式发电模式与电网有机结合,相关专家提出了微电网的概念,它的提出有效地解决了分布式电源投入电网的问题。相较于交流微电网而言,直流微电网更适用于光伏电池、燃料储能电池、超级电容等直流微源的投入,并且具备损耗低、可控性强、效率高等优
病历文本中的时间信息及其关系对于疾病模式挖掘、数据结构化、临床决策等方面都具有重要的意义。电子病历中的时间实体可以反映患者的患病及治疗历程,与药物反应、症状、疾病等描述都有着非常强的关联。目前针对电子病历的研究多采用英文数据集,中文数据集较少,且研究多集中在医疗实体识别、医疗实体关系抽取等方面,对于时间实体及其关系的研究较少。针对该现状,本文基于中文抑郁症电子病历数据进行时间事件信息抽取研究,提出
含氮化合物普遍存在于生物活性分子,天然产物以及材料科学中。因此发展绿色经济,简单有效的方法构筑含氮化合物一直以来都备受关注。苯胺具有价格低廉,种类繁多,商业可直接获
在美国,双语教育不是一个新的现象,它自建国以来就以各种形式存在,联邦政府也很少以立法形式规定语言的选择。1968年《双语教育法》的颁布使双语教育真正得到了联邦政府的认可和资助,走上了制度化与法制化的道路。双语教育政策自产生时就成为社会的焦点,支持者和反对者之间的博弈成为双语教育政策演变的重要推动力量。2002年小布什总统签订《不让一个孩子掉队法》,历经数次的《双语教育法》落下帷幕。本文以历经多次修
制动盘服役可靠性是影响列车行车安全的主要因素之一。从现阶段国内外高速列车服役情况来看,制动盘主要失效方式是由热机疲劳引起的裂纹损伤。因此,研究制动盘在制动过程中温度场和应力场分布以及机械载荷对制动盘热机疲劳的影响,对其预防热裂纹的萌生、研发具有良好抗疲劳特性的制动盘以及改善检修流程提供重要理论参考和工程实践价值。本文以某高速列车制动盘为研究对象,采用有限元软件ANSYS Workbench对200
当今世界发展日新月异,新媒体的出现改变了以往传统的媒体传播格局,新闻舆论中意识形态话语权的把握既拥有机遇又面临挑战。互连网的快速发展促进了新闻快速传播的同时也引发了一些问题,问题新闻的传播对舆论场产生危害,西方敌对势力通过互联网对我国进行意识形态攻击,新闻舆论中意识形态话语权的把握面临挑战。运用马克思主义意识形态理论和马克思主义新闻观指导新闻工作,把握新闻舆论中意识形态话语权迫在眉睫。本文目的是通
目的:本课题通过观察超声引导下针刀疗法与普通针刺疗法对膝关节骨性关节炎并滑膜炎患者的临床疗效差异,探讨超声引导下针刀疗法的有效性及优越性,从而为今后治疗膝骨性关节炎并滑膜炎提供临床思路。方法:选取2018年1月至2019年12月期间在石家庄市中医院康复科收治的符合纳入标准者60例作为研究对象,按照随机数字表法将其分为超声针刀组(治疗组)30例和普通针刺组(对照组)30例,超声针刀组给予超声引导下小
TiAl合金以其密度低、比强度高、抗氧化性好、抗蠕变性能好等优点成为航空航天、汽车发动机等领域的新一代关键材料。双相γ-TiAl/α2-Ti3Al合金是目前最具潜力的热点领域之