近些年来,随着人工智能技术的不断进步,给社会生产力带来了重大的提升。计算机视觉成为人工智能技术中最热门的研究领域之一。技术的进步为许多复杂的工业工程提供了底层基础,二维图像中目标识别和语义分割等技术已经较为成熟。同时,真实世界中的三维物体的检测和识别技术也在不断的发展中,利用雷达、3D扫描仪、相机等设备获取物体的图像和深度信息,从而对三维平面上的目标物体进行感知,估计物体的空间位置和姿态,为机械臂抓取任务提供信息。在生活和工业中,机械臂可以替代人类完成重复性、危险性工作,提高生产效率和人类生活品质。但在非理想化环境中,杂乱的环境、遮挡、光照等因素严重影响设备对物体的感知和识别能力。如何在非理想环境下对物体进行三维感知是亟待解决的问题。通过深度相机感知真实世界的物体,给予计算机以视觉的能力,捕捉真实世界中的图像信息,从图像信息中识别需要检测的物体,根据之前获取的物体的多维度信息,分析出物体的姿态,可以让计算机对物体的位置和姿态有相对准确的估计。在机器人抓取任务中,提供物体的检测信息可以让机器人计算出待抓取物体的空间位置并且估算出相应的姿态。本文主要分为以下内容:第一,构建LPCN旋转姿态网络。首先使用卷积神经网络在对目标物体进行特征提取操作,识别物体的有无、坐标信息和校准方式,并且粗略的估计物体的角度信息。随后第二层网络会再次对图像进行物体检测,并且利用第一层网络中物体的粗略范围信息,直接通过卷积神经网络估计出物体的旋转角度。另外,通过轻型旋转姿态网络获取物体MASK掩模信息和旋转角度数据为后续6D姿态估计提供信息。第二,6D姿态估计任务。深度相机获取的彩色图像信息和深度图像信息作为密集融合网络的输入,附加LPCN旋转姿态估计网络输出的MASK掩模信息,采用密集像素融合的方法对目标物体的RGB图像数据和点云数据进行融合。对点云数据使用全局特征提取的方法,同时附加轻量级姿态网络输出数据,对估计出的6D姿态循环调优。为实际抓取任务提供物体的6D姿态估计信息。第三,机械臂物体抓取任务。利用深度相机KinectV2对待检测物体进行彩色图像和深度图像配准,获得目标物体的点云信息,通过标定相机内外参数,获得目标物体的三维空间坐标,结合旋转角度信息和空间位置信息估计出目标物体的6D姿态数据。结合实际,在非理想环境下进行物体抓取实验,可以实时估计物体的姿态信息,完成实时性要求较高的抓取任务。