基于深度学习的小袋软包装机器人分拣方法研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:dgp000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分拣作业广泛存在于工业生产、垃圾处理和物流配送等中。然而,目前大多数行业的分拣作业仍然采用人工分拣方式,重复性高、强度大。软包装是日常消费中常见的包装货物,软包装容易发生形变,表面通常反光或透明,堆放时又相互遮挡,给机器人识别、定位、抓取带来了困难。针对上述问题,本文主要研究了软包装机器人分拣的策略、抓取定位和分类识别等方法。本文具体工作如下:首先,针对密集堆放的混杂软包装,提出了“先抓后看”的两阶段分拣控制策略,即先实现与目标物体类别无关的抓取定位,再对抓起的软包装进行分类识别。其次,按照“先抓后看”的策略,提出了一种基于启示图(Affordance Map)的软包装抓取定位方法,该方法利用全卷积神经网络生成堆放软包装物品的抓取启示图,然后根据启示图的评价来选取成功可能性最大的作为抓取点。实验表明,采用MFCN(Res Net-101)生成启示图,定位精准率可达95.1%,检测速度可达10.2FPS;同时表明,该方法无关软包装的类别,对未知的软包装也能进行抓取点定位。接着,提出了基于YOLOv3的软包装识别方法,并在不同抓取场景中进行了测试。结果表明,在样本量充足时,YOLOv3算法在相对结构化规整的场景中具有极高的识别精准率(可达96.2%),而在复杂场景中识别精准率受影响较大;同时证实提出的“先抓后看”策略的有效性。此外,针对样本不足和新颖软包装识别的需求,提出了基于原型网络的小样本学习方法,可实现5way-5shot下76.56%的分类准确率识别新颖软包装,有望适应软包装种类扩充的场景。最后,利用Real Sense D435和NACHI MZ04机器人搭建了软包装机器人分拣实验系统。分拣实验表明,提出的抓取定位和软包装分类识别方法有效,其中分类准确率达到95.4%;“先抓后看”的软包装分拣控制策略相比同时识别和定位的策略能够提高分类准确率6.9%。
其他文献
异常检测的基本目标是检测出偏离整体数据特征的稀少数据,近年来随着互联网技术的快速发展和大数据时代的来临,数据增长速度加快,数据多样性增加,异常检测问题得到越来越多的关注,越来越多的应用在网络入侵、信用欺诈、故障检测、医疗诊断、信息安全等领域中,特别是无监督式的异常检测技术,应用场景更广泛、技术难度更大,因此对其进行研究具有重要的意义。本论文首先对异常检测领域相关技术进行了总结,比较了现有的异常检测
LCoS空间光调制器(LCoS SLM)是一种新兴的液晶光学器件,可以对光波的振幅、相位、偏振态等信息进行灵活调控。近些年,随着光电子技术与现代通信技术的发展,LCoS空间光调制器被广泛应用于通信领域中,其中最重要的应用在1550nm近红外段的波长选择开关(WSS)系统中,作为衍射光栅对光波进行调制。利用LCoS空间光调制器的高分辨率特性,结合像素化电信号驱动,实现光波信号在不同波长通道之间的交互
开关电源在高频高功率密度的发展趋势下,解决由快速开关动作引起的EMI超标已经成为无法避免的设计环节,但额外的EMI优化成本往往导致产品竞争力严重下滑。在不影响性能的前提下找到能有效解决EMI问题的低成本方案具有重要的研究与应用价值。反激变换器作为现阶段消费类电子的常用电源拓扑,通常采用添加原副边Y电容形成低阻抗通路来减少EMI噪声,但随之而来的却是泄漏电流的大幅增加。这不仅导致因无法满足国家安全标
我国是地震灾害多发的国家,研发和应用建筑减震技术具有重要的意义。高层建筑中剪力墙是一种重要的结构形式,而竖向接缝连接是其中一个重要研究方向。为提升该类型结构的抗震性能,本文提出在竖向接缝处安装粘弹性阻尼器,旨在通过阻尼器来耗散能量。本文通过采用试验研究与有限元数值模拟相结合的方法,研究粘弹性阻尼器和竖缝设置铅粘弹性阻尼器的装配式剪力墙的抗震性能,主要研究内容和成果如下:(1)以粘弹性层厚度、剪切位
能源是城市发展进步的重要支柱,在城市能源需求日益增长的同时,环境污染、能源供需不平衡的问题不断加剧。因此,对建设具有更高能源利用效率、更多清洁能源接入的城市能源系统的需求愈发迫切。随着智慧能源概念的提出,面向城市范围内能源应用的城市智慧能源系统的建设成为城市能源问题的一种解决方案,其中,体系架构是城市智慧能源系统研究非常重要的部分。由于城市智慧能源系统的研究总体处于起步阶段,对其详细的架构设计极少
验证码作为网络资源保护的第一道防线,用于区分用户是计算机还是人类,它在网络安全中扮演着重要的角色。但是随着各种破解工具的不断发展,当前的验证码系统已难以保证其有效性。尤其是文本验证码和图像验证码这两种应用最为广泛的验证码,在面对深度神经网络模型的识别时,安全性严重降低。对抗样本是指在原始样本上添加人类不易察觉的噪音而构造的样本,它可以欺骗深层神经网络模型,使其产生错误的识别结果。本文研究基于对抗样
随着人工智能、信息物理系统、大数据、云计算等技术日益成熟与广泛应用,其与能源产业的结合,推动了能源产业新技术、新模式和新业态的兴起。能源体系与发展模式产生了巨大变革,智慧能源已成为未来能源产业发展的大势所趋。城市智慧能源系统是智慧城市的重要支撑,全面科学地评价城市智慧能源系统的发展进程,及时发现城市智慧能源系统发展的薄弱环节,对于正确指导城市智慧能源系统的规划与建设具有重要的现实意义。因此,本文针
随着城市轨道交通的不断发展,居民出行越来越偏向于选择地铁出行。对每天数以百万计的客流量进行协调成为城市轨道交通运营管理最难也是最迫切需要解决的问题。城市轨道交通OD客流(Origin-Destination,OD)直观体现了城市轨道交通网络中所有乘客出发点与到达点之间的交通需求。随着城市轨道交通线网规模的迅速扩大和车站站点的激增,带来OD客流矩阵和客流数据的爆炸式增长,传统OD客流预测方法难以适用
作为交通运输业的核心对象,不同类型的车辆对于交通运输的作用和影响不同,而各种车辆的类别、位置分布以及数量等信息对于车流量估算、实时交通运输状况的监测、分析和管控工作有着极为关键的作用,对实现智能交通运输系统更是意义非凡。相比基于车载或路边固定摄像装置的视频中的车辆检测,航拍视频车辆检测借助航拍独特的广阔视角,可以更加方便地获取更加全局的车辆信息。因此,为了实现高精度的实时航拍视频密集车辆检测,本文
Spark是典型的大数据处理计算框架,如何合理租赁预留资源、按需资源是最小化总租赁成本的关键。本文从云服务中间商的角度出发,研究混合租赁方式的Spark应用调度问题,考虑应用的截止期约束,以最小化云服务中间商的总租赁成本为优化目标,该问题的主要挑战有:(1)Spark应用结构存在复杂的偏序关系,大量Stage拓扑序列产生不同调度结果,如何找到最优解或者较好解是典型的NP-hard问题;(2)预留资