基于深度学习的机械臂智能抓取系统的研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:dlzhwp
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着机器人应用领域不断扩展,机器人智能化控制技术愈见短板。常用的机器人控制方式主要是通过示教器或者离线编程的方法。这种固定的点到点的操纵控制方式,不能够应对复杂的抓取环境,需要机器人具有更高的智能化。此外,传统的机器人抓取针对的是特定的检测工件,通过人工设计特征提取,并使用模板匹配等方法。该种方法可移植性不强,鲁棒性较低。因此,面对类别多样、姿态各异的抓取对象,本课题提出一套在ROS(Robot Operating System)软件环境下,基于深度学习的机械臂智能抓取系统,使机械臂能够应对多样的抓取环境,提高机械臂智能化抓取能力。本文主要研究内容如下:(1)首先,针对待抓取的生活用品进行系统的整体需求分析,并搭建系统整体框架。针对性的对硬件选型、及系统控制流程设计。(2)针对基于图像的SSD(single shot multibox detector)目标识别算法存在信息源单一,导致中小目标对象误检漏检现象,提出改进多层尺度特征融合算法,丰富特征层特征信息,增强特征图特征表达能力。此外,为进一步提高算法检测精度,对视觉传感器进行标定,保证空间场中的信息完全映射到图像上。(3)针对检测到目标对象位姿的快速判断,在准确得到目标对象类别、定位框的基础上,通过聚类算法得到对象点云模型,并利用Ran Sa C(Random Sample Consensus)算法进行代表性几何特征点提取,最终通过PCA(Principal Component Analysis)进行目标点云主方向判断,得到目标对象姿态信息。并结合定位框位置信息得到目标对象位姿。(4)针对机械臂实际工作场景,既要考虑到机械臂的快速响应,又要充分考虑机械臂运动得安全范围。因此,对采用随机搜索路径点策略的RRT(Rapidly-exploring Random Trees)算法进行改进。核心想法是,结合人工势场法思想提出改进RRT算法,并加载到OMPL(Open Motion Planning Library)运动规划库,能够有效节省路径搜索时间,提高了机械臂运动规划在高维空间的成功率。(5)针对目标检测算法、目标位姿判断算法、运动规划化算法及机械臂控制逻辑问题,基于ROS机器人操作系统,整合系统整体软硬件,利用Move It运动规划插件及rviz可视化软件,对抓取情形进行分析。最终将得到的目标在视觉传感器中位姿,通过坐标变换到机械臂坐标系下,最终成功抓取目标对象。本文搭建的基于深度学习的机械臂智抓取系统,在改进传统目标检测算法误检、漏检的的基础上,有效的提高了机械臂应对复杂环境下的抓取能力。结果实验表明,本文提出的机械臂抓取体系统具有较高的可操作性与可行性。
其他文献
随着社会的快速发展,人们的生活水平逐渐提高。但是与此同时,人们不规律的生活方式也使得更多疾病的发生,肿瘤甚至也变成了一种常见的疾病。脑肿瘤是常见的恶性肿瘤之一,其致死率较高,目前只有通过手术或放疗来治疗。因此,脑肿瘤的早期诊断对于改善患者的病情至关重要。核磁共振成像(Magnetic Resonance Imaging,MRI)可以帮助医生观察到病人大脑内部的情况,迅速地确定病灶区域。但是脑肿瘤具
受传输介质、周围环境以及人为因素的影响,控制信号在传输过程中难免会出现时延.时延的出现严重影响系统的控制品质,甚至稳定性.要对时延系统实行有效控制,就必须获得系统的参数.因此研究时延系统的参数辨识方法具有重要理论意义和应用前景.本文以线性连续时间时延系统为研究对象,基于系统正弦响应的观测数据,研究其参数辨识方法,主要内容如下:1.对于线性系统,其正弦响应是一个与输入同频率的含迟延相位的正弦信号,即
多智能体系统的分布式协同控制近年来逐渐受到众多研究者的关注,在这个研究领域中,多智能体系统的安全性问题也逐渐成为了热门的新兴研究方向之一。在实际应用中,智能体之间的局部信息交换往往受到恶意攻击的影响。重放攻击是计算机黑客常用的攻击方式之一,其隐匿性往往对系统造成巨大的危害。由于无法预料攻击会发生在何时何地,因此必须提供有复原力的解决办法以削弱攻击带来的危害,确保多智能体系统在受到恶意攻击的情况下完
工业无线传感器网络(Industrial Wireless Sensor Networks,IWSN)在工业监控中起着重要作用,但IWSN通常位于人工干预少的环境中,且无线电传播的广播性质导致IWSN比有线传感器网络更容易受到窃听攻击。物理层安全性正在成为一种有希望的安全通信范式,利用无线信道内在的时变性、互易性和差异性等特性,其实质为减少窃听者获得的合法信息同时最大化合法节点之间的安全通信速率,
模型预测控制(Model predictive control,MPC)在处理复杂约束、多变量系统的控制问题时表现出了巨大的潜力,已经在众多工业领域中获得了成功的应用,并逐渐成为现代工业环境中最常见的优化控制策略之一。传统的模型预测控制方法采用周期滚动优化的模式,并且优化控制问题通常较为复杂,使得在线计算量较大,限制了其在实际控制系统里的应用范围。尤其是当需要控制的系统通信和计算资源受限时,更加难
目前,在日益提升的计算力与海量的标注数据的推动下,以深度学习为代表的人工智能实现快速的发展,但在其高准确率的背后也存在着通用智能水平弱,计算力依赖度高等局限性。以第三代人工神经网络-脉冲神经网络(Spike neuron network,SNN)为代表的类脑计算借鉴了大脑的高效率和低能耗的计算特点,被认为是有望解决人工智能问题的重要途径。由于SNN的快速乃至实时的仿真需求以及明显的分布式计算特征,
人类大脑智能水平高、功耗低,其计算模式非常值得借鉴。类脑计算通过模仿生物大脑的运行机制来实现信息处理,它主要以脉冲神经网络(SNN,Spiking Neural Networks)为基础,实现方式主要分为硬件实现和软件实现两种。硬件实现方法普遍采用专用类脑计算芯片与系统来实现脉冲神经网络。该种方法可以提供更佳的能效指标,但代价高、适应性差,当其与应用负载不匹配时,计算能效表现往往会大打折扣。软件实
随着工业设计的不断创新,工业设备与人的数字化进程正在迅速加快。工业信息物理系统(Industrial-Cyber-Physical-System,ICPS)通过无线网络结合信息系统和物理设备,实现工业智能化计算、通信和控制。但是ICPS通信网络的脆弱性使得系统容易受到数据注入攻击的破坏,造成工业设备故障,系统运行性能显著下降,甚至系统崩溃。ICPS在极端工业环境下计算、电池设备等通信资源是有限的,
智能设备的兴起,基于位置的服务的社会和商业需求显著增加。在室外环境中长期以来使用GNSS进行导航或确定准确的位置信息。由于GNSS信号无法穿透建筑物以及复杂的室内环境,GNSS无法在室内环境中提供可靠的基于位置的服务。MEMS传感器在智能手机中的部署为行业和学术界带来了新的机遇和挑战。室内环境中基于位置的服务的需求和潜力迫使研究人员研究更可靠、准确、低成本的室内定位方法。基于智能手机的室内定位技术
随着物联网产业的蓬勃发展,无线传感器网络为其提供了区域感知、数据采集等多方面的应用支撑,而信息路由协议是影响是影响传感网性能的重要研究领域。各传感器节点一旦被放置则难以改变位置更换电池,节点间一般采用单跳或多跳的形式实现自组织通信,单一的随意路由选择极易造成网络资源浪费,形成“能量空洞”等现象。因此,应对不同应用场景,链路的不同需求,应设计具有针对性的网络路由算法。论文针对层次型路由算法在节点异构