手势跟踪被引入人机交互等领域,更加符合人类的行为习惯,加上虚拟现实(Virtual Reality,VR)、三维动画、医疗康复等技术的发展也为手势跟踪提供了广泛的应用前景。由于手部关节具有很多自由度、手部运动多变、手部自遮挡等问题,精确鲁棒的手势跟踪一直是一个具有挑战性的研究课题。本文将生成方法与判别方法相结合,以手势深度图像作为输入,基于手部关节初步估计和改进的粒子群优化算法(Particle Swarm Optimization,PSO),对手势跟踪中的关键问题进行了研究,具体内容如下:针对复杂手势、快速手势和手部自遮挡引起的跟踪失败问题,提出一种基于手部关节估计的手势初始化方案。首先,提出一种有效的手势分割算法,准确分割手部区域;其次,建立简化直观的手部模型,将手部运动表示为3D模型和25自由度(Degree of Freedom,DoF)的手势参数;随后,训练一个卷积神经网络(Convolutional Neural Network,CNN)模型,使之能从深度图像中估计手部关节的3D坐标;结合手部关节估计结果和手势的时域信息共同初始化手势跟踪过程。实验结果表明提出的方案可以有效避免跟踪失败问题,提高手势跟踪的鲁棒性。针对手势跟踪过程中,跟踪算法在高维空间中搜索目标函数的最优解时,存在收敛速度慢、容易陷入局部最优的问题,本文设计了一个精简有效的目标函数,并提出基于自适应混合PSO的手势跟踪算法。目标函数来量化假设手势对应的手模与深度图像之间的误差。提出自适应混合PSO算法来更好地优化目标函数,实现更快的收敛和更高的精度。实验结果表明,所提出的优化方案能有效提高目标函数的收敛速度和收敛精度,进一步提高手势跟踪的跟踪精度。