近来,随着人工智能和“中国制造2025”的发展,大量工业机器人应用于分拣系统,以机器人为主导的生产模式取代传统的人力模式,降低恶劣环境对人体的伤害且极大提高分拣任务的自动化程度、工作效率,降低生产成本等。然而2D图像缺乏3D几何信息,且受纹理、光线等影响明显,这导致视觉采集的图像比较模糊,整体质量不高。同时,传统的3D点云的视觉处理,步骤繁杂且计算复杂度高。虽然3D深度学习网络的出现提供了新的思路,但数据集的手动标注往往消耗大量的人力和物力。因此,本文采用优化后的端对端的3D点云处理的深度学习框架,减少上述影响的同时增强局部特征信息的学习,从而提高识别结果的精确度和移植的便捷性。此外,本文采用虚拟环境生成的数据训练网络并在真实环境中搭建工业机器人识别与分拣系统进行验证。首先,对机器人分拣系统平台进行了设计。本文中采用3D视觉的方法与机器人编程和示教的方法不同,本文的方法需要运用虚拟环境制作数据、相机获取物体信息以及相应的数据处理等,因此对机器人分拣系统的平台和方案进行设计,并对系统中各个硬件的选型和软件的技术原理进行详细阐述。其次,对端对端的3D点云处理的深度学习框架进行了优化。本文主要提出了ResNet3D网络,其采用的R3Block模块打破了 3D深度网络与经典网络的隔阂,更好地获取局部特征。本文对物体识别数据集ModelNet40与场景分割数据集ScanNet、深度学习在点云方面的基础理论、以及提出的ResNet3D网络进行了详细阐述,并证明了该网络在公用数据集上的有效性,为后文的分拣任务识别和分割技术提供了理论和实验依据。然后,对机器人分拣任务的视觉系统进行了标定。本文在Kinectv2深度相机与UR5机器人之间采用眼在手外的安装方式。本文先详细阐述了深度相机成像、内外参标定、畸变、手眼标定等原理;紧接着并采用“张正友标定”法对Kinectv2进行标定实验得到标定误差和相机自身参数;之后,采用ROS中的VISP库进行Eye-to-hand的手眼标定实验,从而得到Kinect v2深度相机坐标系与UR5机器人坐标系之间的转换关系。最后,基于深度学习的3D点云识别框架搭建了机器人分拣系统。本文在Blensor虚拟环境下调整虚拟相机的角度获得大量带标签的纯虚拟数据集,在真实场景下采集目标物体表面的点云数据并进行移除NaN点、提取长方体点云数据、去平面以及删除离群点等PCL处理。至此,虚拟数据集和真实数据还要进行单位球归一化和FPS采样等处理。本文采用制作好的虚拟数据集训练3D识别分拣网络模型,再将真实环境下采集的目标物体表面数据导入模型得到的结果引导UR5机器人进行抓取,从而验证该方法在真实场景中的可行性。