随着视频处理技术的进一步发展,人们更多的关注视频图像中人的行为以及状态。作为人体中最为灵活的部位,手势以及手势的轨迹包含着丰富的肢体语言信息。手的跟踪作为手势交互、手势翻译以及手势识别等应用的关键技术,得到了学术界以及工业界的广泛研究和应用。然而,已有的手势跟踪算法需要复杂的模型构建以及优化求解,并且使用传统的手工设计特征难以满足多变的场景。因此本文研究使用深度学习的方法对自然场景下的手势进行跟踪,依靠深度学习自动学习特征的能力,并结合手势的特点,解决自然场景下手势跟踪的问题。本文的主要内容如下:一、本文研究了基于深度学习加权特征谱融合的手势检测方法,该方法使用了加权的方式将中低层的特征谱与高层的特征谱进行了融合,融合后的特征包含着丰富的边缘、颜色以及语义信息,同时让网络自动学习不同层次特征信息的权重,使得手势检测更为准确。二、本文研究一种手势相似性比较的方法,本文通过对大量的手势分析发现,相同的手势在空间中的信息分布具有很高的相似性,因此,本文使用特征谱分块的方法对手势的不同区域块进行描述,再将两个手势相对应区域的特征进行比较学习,将不同区域块比较的结果结合,形成对手势相似性的比较。三、本文研究了一种基于关联信息的手势跟踪方法,该方法将前一帧的跟踪结果用于限定下一帧手势的搜索区域。本文使用手势分割网络将搜索区域的手势进行了分割,并根据分割的结果对搜索区域的手势进行定位。为了训练本文算法模型并验证本文算法的有效性,本文分别构建了自然场景下的手势检测数据库、手势相似性比较数据库、手势分割数据库以及手势跟踪数据库。实验结果表明,本文研究的基于手势检测的手势跟踪方法以及基于关联信息的手势跟踪方法具有很好的跟踪效果。