水果识别定位是机器人采摘视觉系统的关键组成部分,也是计算机视觉重要的研究领域。一直以来传统的识别算法受限于遮挡、光照、形状差异等问题,使得水果的识别定位面临着诸多的困难,算法在非结构环境中缺乏鲁棒性成为制约采摘机器人发展的主要瓶颈。随着识别技术的不断发展,卷积神经网络以其具有非线性特征表达能力强,泛化性能好等优势,能够很好的完成物体的识别检测任务,使得深度学习识别检测技术为实现自动化采摘提供了可能。作为实现水果自动化采摘的重要环节,本文主要以此为背景,研究探讨多类水果的检测和定位技术,着重研究脐橙、荔枝、贡柑、苹果四类水果在非结构环境下的检测定位方案,提高水果检测和定位系统的整体精度和鲁棒性。本文利用计算机视觉和深度学习中的理论对多类水果的识别和定位进行了深入的研究分析,围绕本文的主题开展了如下工作:(1)分别使用传统识别和深度学习的方法对非结构环境下的水果识别检测进行了研究。通过对水果的颜色模型进行分析,确定了基于YCrCb颜色模型的Cr分量作为大津法阈值分割的对象,结果表明不同光照下综合F1值为61.45%。针对大津法无法满足非结构环境下的目标检测问题,提出基于SSD方法的水果检测模型。通过对非结构环境下的水果图像进行不同光照角度和遮挡比例实验对比,结果表明了SSD方法在输入图像的大小为300×300时,光照和遮挡低于75%的F1值分别为95.18%和90.74%,当输入图像的大小为512×512时,F1值能够达到95.78%和92.04%。(2)针对SSD检测框架中多层特征重复提取以及对小目标识别精度低等问题,本文提出了基于残差学习模型以及特征金字塔信息融合的水果图像深度检测框架。通过数据增强操作,验证了丰富的数据集能够有效的提高算法的鲁棒性。并和目前流行的Faster RCNN、R-FCN两种检测框架进行对比,实验结果表明ResNet-101和特征融合网络模型对水果图像识别检测平均精度分别为88.4%和86.81%。(3)提出了基于RGB-D相机深度测距的水果采摘视觉识别定位方案,通过对相机深度测距的误差分析进行误差补偿,并提取相机的彩色和深度图进行配准获取水果目标区域的三维信息,实验结果表明,水果的深度测距精度达到误差2cm以内,能够满足采摘任务的要求。