研究开发自动化的水果采摘机器人是解决人工采摘效率低、降低采收成本的一个有效途径。采摘机器人通常需要利用视觉系统获取场景信息,并借助于图像处理方法对水果进行检测与定位,对水果的识别率直接关系到后续的采摘成功率。传统的水果识别方法主要基于彩色图像,虽然在某些情况下达到了良好的效果,可是由于果园环境复杂多变,随着对水果检测的要求不断提高,彩色图像所提供的颜色、纹理等信息有限,仅仅利用彩色图像已难以满足需求。本课题利用RGB-D相机,以水蜜桃为对象,在颜色特征的基础上,融合三维几何特征对树上水果进行识别,为水果采摘机器人提供一种三维空间中的水果检测方法。本文的研究内容如下:1.针对水果成簇和遮挡等问题,本研究提出了一种基于颜色和三维轮廓信息的树上水果自动识别方法。在实际果园环境下获取场景点云数据,通过颜色阈值分割去除背景后,采用基于距离和色差的欧式聚类分割算法将预处理后的点云划分为若干个点云团。针对含有多个水果的点云团,采用球形分割的方式逐一提取出水果。由于相机视角限制和实际遮挡等,使得获取的水果点云不完整,这些点云团通常只含有一个水果,采用圆形分割方式来提高识别结果。在无接触、水果成簇、水果遮挡等三种不同程度遮挡环境下的召回率分别达到97.83%、89.74%、74.29%,三种情形下水果识别的整体召回率为88.68%,对每个水果的平均检测时间约为292.4ms。结果表明,本研究可以为水果采摘机器人进行水果识别提供理论性指导。2.研究发现,点云背景分割的结果会直接影响到后续的水果识别。为了提高水果采摘机器人在三维空间中对水果的识别能力,本研究提出了一种基于颜色和三维几何特征的水果点云分割方法。首先,通过融合颜色特征和法线方向特征,基于支持向量机(SVM)分类器获取候选区域。然后将初步分割的彩色图像和深度图像转换为三维点云,利用欧式聚类算法将其划分为多个点云区域。通过每个点云团的视点特征直方图(VFH)特征去除残留的非水果区域,得到最终分割的水果点云。实验结果表明,该水果点云分割方式的分割准确率为98.99%,查准率为80.09%,均优于传统的颜色分割方式。为了验证该分割方法对水果识别的影响,采用基于形状分析的水果检测方法处理分割后的水果点云。结果表明,该分割方法在提高水果识别精度方面比传统的颜色分割方式更有效,更能满足水果识别过程中背景分割的要求。3.为避免在水果检测方法中过多依赖人的感官与经验进行特征选取,本研究利用深度学习技术来实现树上水果的检测与计数。通过人工标记水果图像数据集,利用Faster R-CNN网络训练得到水果检测模型。针对潜在的误识别目标,将检测结果映射到深度图像中,通过分析每个检测框内像素深度值的分布规律,利用监督学习方式将识别错误的检测框剔除,从而降低模型的误检测率。实验结果表明,基于Faster R-CNN水果检测模型的F1值为88.41%,精确率仅为83.74%。利用检测框内的深度值变化规律去除识别错误的目标后,水果识别的F1值达到91.51%,精确率提升到95.10%,且召回率并没有显著变化。该方法在不显著影响识别率的基础上,可以提高水果识别精度,为去除深度学习方法中的误识别目标提供了一种参考。