基于深度学习的衣物抓取点检测研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:woyaojiayou123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
悬挂衣物的抓取任务一直是机器人领域非常重要的课题。然而由于衣物复杂的动力学属性、褶皱和自遮挡等因素,导致衣物的局部特征不明显,给抓取任务带来了很大困难。本文将对衣物抓取点的检测任务,从数据集和检测算法两个方面进行研究。主要工作如下:(1)制作了高质量的模拟数据集。针对数据集采集困难的问题,本文利用模拟的方法生成大量数据。使用模拟软件Maya模拟衣物模型自然的悬挂状态,获取到清晰的深度图片和精准的抓取点坐标信息。通过模拟和真实数据的对比表明,模拟数据能够模拟出衣物真实的悬挂状态,可以为检测算法的研究提供高质量的数据。(2)设计了衣物抓取点检测算法。采用先衣物类别,再预测抓取点的策略,分别设计了衣物分类和抓取点检测的网络模型。对于衣物分类模型,采用了一个轻量级的神经网络准确的预测了三种衣物的类别;对于抓取点检测模型,同时预测抓取点的三维坐标和可见性信息。由于坐标回归和可见点分类任务的损失量级相差较大,本文引入Grad Norm算法通过动态调整两个任务的损失权重来优化模型。实验表明,在相同网络模型的情况下,Grad Norm算法提高了可见性的识别率,这可以大大增加抓取任务的成功率。(3)提出了基于GAN网络的数据扩增方法。本文使用Azure Kinect相机采集了实际场景中的衣物数据,基于模拟和真实两种数据,使用Cycle GAN网络将模拟数据翻译成近似真实场景的数据。实验表明生成的数据更贴近真实数据的分布,利用该数据训练的模型在衣物分类任务和抓取点检测任务上的效果都有所提升。本文基于深度学习技术直接预测抓取点的三维坐标。本文的衣物抓取点检测方法在衣物分类任务中的准确率达到了93.97%,抓取点检测任务的平均误差在10cm以内,可见性分类准确率达到了87.07%,表明本文提出的方法具有一定的实际指导价值。
其他文献
河北省“三高”(1)行业的发展现状严重制约碳排放达峰和空气质量达标协同目标进程。减污降碳归根到底要转变发展方式,关键在于经济转型突破碳约束的产业布局,形成绿色发展合力。绿色金融作为支撑生态文明建设的金融体系,以其特有的运作方式将资源环境的高度稀缺性在金融的资源配置中体现出来,为绿色低碳投入和产出提供市场化、货币化转换通道,引导社会资本逐步从“三高”行业退出转投绿色低碳领域,是破除传统发展路径依赖、
心电图是临床上诊断心脏电生理相关疾病的重要手段,能够反映心肌的兴奋性、自律性和传导性。然而,全球每天上百万条心电记录的判断对于医师是一个耗时且容易出错的工作,开发自动检测算法辅助医师进行异常心律检测具有重要的意义。近年来,在各个心电节律分类挑战赛的推进下,关于心律失常的研究也不再只是针对心拍的分类,开始识别长时程心电记录中的心律失常。多个公开数据集的出现也为这类自动识别算法的开发提供了条件。本文结
听觉是人类感知周围环境的一个重要途径,通过听声音我们可以获取众多信息。声音识别目前被应用于多个领域,具有巨大的生产生活价值,其中语音识别技术已经比较成熟,而环境声音由于其复杂性,成熟程度和应用程度远不如语音识别。声音识别在初期是通过提取音频的传统声学特征,再用统计分析进行分类的方法实现的。近年来,深度学习(Deep Learning)飞速发展,被应用于包括声音识别在内的众多领域。深度学习在声音识别
图像分类是计算视觉领域的一个重要分支,随着软硬件水平的提高,基于深度学习的图像分类方法已经成为近几年的研究热点。其中,卷积神经网络模仿了生物视觉系统的结构,具有强大的特征提取能力,对于处理图像数据展现出了良好的表现,已经成为图像分类领域广泛使用的结构。然而,卷积神经网络所提取的部分特征在不同样本类别间的分布差异较小,对分类的贡献度不大,甚至会造成分类精度的下降。鉴于此,本文针对基于特征选择的图像分
利用传感器监测地震动在诸多领域具有广泛应用。应变传感器具有制造成本低、器件集成方便等优点,然而传统的应变传感器灵敏度较低,难以用于地震动监测。近年来提出的基于纳米裂纹的应变传感器具有超高灵敏度,有望实现对地震动的监测。本文研究了两种纳米裂纹的图案化方法,设计制造了一种用于地震动监测的悬臂梁式纳米裂纹应变传感器,并对其性能进行了测试。提出了一种基于V型沟槽的纳米裂纹图案化方法,利用聚二甲基硅氧烷(p
在我国发展双循环的新发展格局下,工业机器人作为高端制造装备,在各行业使用密度逐渐增加,其国产化势在必行,而工业机器人绝对精度较低,需定期校正,以保证产品质量以及加工效率,这势必会对工业机器人空间位置精度测量仪器提出更高需求。激光跟踪仪作为一种突破测量空间局限的仪器,在工业机器人精度校正中的作用日益突出。传统激光跟踪仪采用主动跟踪的方式,具有复杂的跟踪控制系统,研制成本过高,不利于推广使用,因此研制
可生物降解器件是一种使用可降解材料制备而成的器件,它不仅能实现设计的功能,而且可以在任务完成后在一定下条件完全降解、不留痕迹,这种特点使其在植入式医疗领域发挥着重要的作用。然而面对实际应用,可生物降解器件依然存在一些问题:材料方面,传统电子器件使用的多是不可弯曲、不可降解的材料,这对于可生物降解器件并不适用。器件方面,监测植入式药物释放系统的进给量等方面均需要位移传感器,然而目前没有关于可生物降解
传染病在人类历史上屡次对人类生命及财产安全造成重创,从天花、鼠疫、SARS再到2019年底爆发的新冠疫情,每次大规模疫情的爆发都对人类社会的正常发展造成了不可估量的损失。在与传染病的漫长斗争过程中,人们尝试各种方法研究传染病的传播规律以预测其发展趋势,因此传染病动力学模型应运而生,它能够根据群体内各状态人数变化情况、环境因素和人为因素对疫情的发展趋势进行定量预测。模型的数据输入是预测不可或缺的必要
液体晃荡是指在外部激励作用下,部分装载的舱室内液体所产生的波动及其与舱壁结构相互作用的现象。特别当外部激励频率接近液舱的固有频率时,舱内液体会发生剧烈共振响应,可能会改变主结构的动态特性并带来潜在的安全风险。该问题在工程中的应用非常广泛,例如运输液化天然气的液舱和火箭燃料箱等。因此,研究晃荡液体的特性是非常有必要的。采用物理模型实验对水平简谐激励下的液体晃荡问题进行了研究。基于连续小波变换方法,研
阿尔茨海默症(Alzheimer’s disease,AD)是一种不可逆转的神经退行性疾病,严重危害着老年人的身心健康。随着人口老龄化的影响,我国AD的发病率仍然在不断升高。由于AD发病过程缓慢,往往一经发现就已经到达晚期,且尚无有效的治愈方法。但是如果能尽早检查出AD并实施治疗和干预,则能够有效地减缓甚至抑制病情的发展。因此,实现AD的早期诊断已经成为计算机辅助诊断领域的一个重要研究课题。轻度认