双眼是人类感知世界的主要器官之一。视觉传感器作为智能机器人的眼睛,能让机器人感知作业环境,提高机器人的智能程度,从而提高其工作的效率与精度。机器视觉及视觉算法,已成为国内外学者的研究热点。工业机器人能利用视觉系统实现非结构化环境下的作业,具有通用性强、高精度、高效率等特点。在农业上,机器视觉使农业机器人可在复杂野外环境下进行生产作业。机器视觉是实现农业机械化及精准作业的关键。因此,研究基于机器视觉的智能机器人关键技术,顺应了国家十三五规划,可促进传统制造业全面升级,从而产生重大的社会与经济效益。本文研究重点在视觉机器人实际应用中涉及的关键技术。工业上实现视觉系统对一般工件的识别、定位,再使用机器人抓取。农业上实现视觉系统对荔枝采摘点的识别定位,并使用机器人采摘荔枝。围绕上述实际应用的要求,本文着重研究了“目标识别”、“视觉三维定位”、“视觉关联机器人”三项视觉机器人关键技术。同时,本文阐述了视觉关联机器人的目标识别、定位和抓取的整体技术流程,研究此过程中涉及的理论技术,并在现有理论技术基础上进行了创新。本文的主要研究工作与创新如下:1)改进了目标区域识别方法。阐述了基于边缘梯度方向的原形状匹配算法的基本原理,并分析其优缺点。阐述了卷积神经网络的基本原理。本文提出了利用低阈度的原形状匹配算法作为区域建议,然后使用卷积神经网络进行判别分类的工业零件目标区域识别方法——“SM-CNN”。在该方法中,卷积神经网络的训练素材是人工自动生成的,解决了网络训练需求大量训练样本与工业应用中无法高效采集样本的矛盾。SM-CNN适用于一般工业零件的定位和分类。在相同的图片测试集下进行目标区域识别试验,对比原形状匹配算法及SM-CNN。目标区域识别试验结果表明,SM-CNN的目标区域识别率比原形状匹配算法高23.51%,达到81.15%。同时,SM-CNN的误识别率仅6.81%,比原形状匹配算法的误识别率低10.75%。SM-CNN的识别率及准确率使其满足非结构化环境下视觉机器人的识别要求。2)提出了基于点云配准的目标精确三维位姿计算方法。该方法首先通过目标的边缘特征筛选出代表目标轮廓的点云,减少点云的数量,利用迭代最近点法快速得到较为准确的位姿。最后通过对所有点云进行精确配准,进一步得到更准确的三维位姿。此方法根据双目视觉的特性,改进了传统迭代最近点算法的低效率问题。三维位姿计算试验表明,在1000mm内,该方法的三维坐标XYZ精度分别是0.249mm±0.554mm,-0.041mm±0.849mm,0.708mm±0.690mm,欧拉角αβγ精度为0.132°±0.774°,0.059°±0.609°,0.194°±1.405°。与改进随机样本一致性的平面拟合方法比较,有能提供目标完全三维姿态的优势,三维定位精度水平更高,姿态精度水平基本持平。该定位方法能为机器人提供准确、完整的目标位姿数据。3)研究了建立视觉系统与机器人坐标系关联的方法,提出了基于Sylvester方程变形的Eye-in-Hand机器人手眼标定方法。该方法通过机器人带动其臂上的双目相机从多个位置观测标定板,使用Sylvester方程变形对手眼标定近似方程线性化,再对手眼标定二步法求得的初值进行最优化计算,最终得到更精确的手眼标定结果。进行了视觉关联机器人重复定位精度试验,并与手眼标定二步法进行对比。试验表明,当相机在1000mm左右的工作距离时,基于Sylvester方程变形的机器人手眼标定方法的重复定位误差为2.929mm±0.454mm,优于二步法。该精度达到了一般工业机器人的抓取分拣等工作的要求,也达到了采摘机器人采摘荔枝的实际要求。4)进行了室内与室外试验:视觉关联机器人定位工件抓取试验,荔枝采摘机器人野外采摘试验。试验表明了本文所述视觉感知关键技术算法的可行性与可靠性。