为了解放劳动力,实现果园的智能化运作,果蔬采摘机器人逐渐成为当前的研究热点。本文通过研究采摘点和障碍物等多目标的识别与定位问题,完成了苹果轮廓和采摘点分割、苹果图像的立体匹配、果实直径的测量、采摘点和障碍物的定位、采摘点的定位精度实验和光强度变化对定位精度的影响实验。针对遮挡情况下,果实轮廓分割效果不佳的问题,采用适用于轮廓分割的U-net卷积神经网络方法,为了解决在使用U-net分割苹果轮廓时,由于图像的重要特征提取不清晰导致多余伪轮廓的问题,在U-net中引入了注意力机制sc SE模块,用来提高对重要特征的高效提取和利用,另外采用一种加权多级交叉熵损失作为该改进网络的损失函数,用来衡量训练模型的预测值与真实值之间的不匹配程度,并与U-net的训练结果进行对比,验证了改进网络在遮挡情况下对苹果轮廓分割的有效性,完成了在遮挡情况下对果实的轮廓分割。为了解决果实采摘点分割精度和识别成功率偏低的问题,采用适用于点、块分割的Seg Net卷积神经网络方法,因在实验中出现由于输入信息在多层之间传递时发生特征丢失导致采摘点分割不清晰,所以在Seg Net中引入Dense Net的思想,实现特征多次重用,并将Dense-seg Net和Seg Net的训练结果进行实验对比,验证了改进的网络对采摘点分割的有效性,提高了采摘点的分割精度和识别成功率。由于目前的立体匹配算法无法保证视差图高效且高质量的输出以及光照变化导致双目图像中的同名点发生误匹配,因此基于SGM算法改进了一种融合优化后的Census变换的匹配算法,该方法能有效降低光照变化对像素点之间匹配的影响,通过对比BM和SGBM算法,验证了改进算法的有效性。通过研究采摘点和障碍物的定位问题、定位的精度问题以及验证Census变换是否具有抗光照变化影响的问题,本文采用基于SGM的改进算法,完成了苹果树模型的三维重构,实现了障碍物的定位;通过轮廓分割和采摘点分割提取了只含有果实和采摘点的图像,并对其进行三维重构,实现了果实直径的测量和采摘点的定位,并将点云坐标以文件格式保存,通过实验验证了改进的SGM算法的定位精度满足采摘要求和该算法具有抗光照变化影响的能力。