旋转飞行物体的实时识别、定位与轨迹预测是机器人视觉感知领域的研究难点之一,对军事、体育、航空航天、生产生活等领域均有着重要的研究意义和应用价值。本文面向旋转飞行物体精确识别定位和轨迹预测这一课题,以乒乓球这一典型的高速旋转飞行物体作为研究目标,开展乒乓球检测、定位、轨迹预测的学习方法与技术研究,提出了深度学习架构下的旋转飞行乒乓球识别定位和轨迹预测的学习机制与方法,并在自己构建的数据集上进行训练和技术验证。本文的主要研究内容和贡献包含以下三个部分:(1)构建了带有准确标注的多种环境下乒乓球空间位置图像数据集和多种旋转状态乒乓球飞行轨迹数据集。基于“悟空”乒乓球机器人系统,本文采集了多种光照条件下、含有多类背景干扰物的三种乒乓球图像,通过图像预处理手段增加数据丰富度,并采用人工标注的方式为每一张图像添加准确的类别与乒乓球像平面位置信息,从而构建了一个含有46000张图像的乒乓球图像数据集。同样基于“悟空”系统,通过双目定位方法,本文又采集了多种旋转状态下的乒乓球飞行轨迹数据集,含有2000条轨迹数据。建立这两个特征丰富、数据量大的乒乓球数据集,为后续基于神经网络的学习方法奠定了基础,同时也便于其他学者开展相关研究。(2)提出了基于卷积神经网络的乒乓球识别与定位方法,解决了基于颜色特征的识别与定位方法在多种环境下适应性低的问题。本文构建了二分支识别与定位网络结构,利用卷积层提取图像多层级特征,并利用Spatial Softmax层归纳乒乓球像素位置,结合自行构建的乒乓球图像数据集进行训练与测试,从而完成了图片中乒乓球的识别与像平面定位,能适应不同光照条件、不同环境背景下的三种乒乓球图像。通过合理修改网络层级结构,本文平衡了网络定位精度与运算速度之间的关系,同时满足了乒乓球机器人视觉感知系统的准确性和实时性要求。(3)提出了基于递归神经网络的乒乓球轨迹预测方法,解决了基于运动建模的预测方法在多种乒乓球旋转状态下预测准确度低、适应性差的问题。本文不依赖于先验知识,通过构建大量非线性的LSTM(Long-ShortTermMemory)单元,逼近高阶非线性的乒乓球运动过程,实现了多种旋转状态下飞行乒乓球的长期轨迹预测,且满足乒乓球机器人视觉感知系统的准确性和实时性要求。上述方法使乒乓球仿人机器人具备了对复杂环境下高速旋转飞行乒乓球的实时识别、定位与轨迹预测能力。识别准确度达到99%以上;像平面定位精度在u方向和υ方向分别达到了 0.10和0.58个像素点;轨迹预测落点精度在x方向和 y方向分别达到了 2.83mm和2.97mm。