由于手部在人类劳动、行为中的支配性地位,手势,特别是其运动轨迹,因富含肢体语言信息而成为了新一代人机交互方案的理想载体,在智能家居、无人驾驶、增强现实等领域均有着广阔的应用前景。但是,现有的手势轨迹识别算法一般没有集成有效的运动轨迹获取方法,并且缺乏对多变应用场景的鲁棒性,无法满足实际应用需求。因此,本文将手势轨迹识别整体流程拆分为三个子任务,即手势检测、手势跟踪和轨迹识别,并根据手势的具体特点,通过特征融合网络对三者分别进行优化后结合起来形成一套高效的针对自然场景下手势的轨迹识别算法。本文的主要研究内容包括:1.本文提出了一种基于多尺度特征谱融合的静态手势检测方法。针对实际应用场合下手势尺度多变的特点,本文提出了一种由不同扩张率的卷积支路构成的扩张卷积单元,用于自适应选择特征谱感受野,以及一种针对不同尺度特征谱的融合单元,并在神经网络中采用自顶向下的结构进行特征谱融合,有效促进了图像特征中语义信息和定位信息的融合,提升了手势检测性能。2.本文提出了一种基于注意力机制的手势跟踪方法。在静态手势检测结果的基础上,本文基于手部特征点检测生成手势区域对应的注意力谱,并将其叠加到具有孪生结构的手势相似性对比网络中,通过加强运动姿态信息的特征表达提升网络性能,再利用相似性对比匹配相邻帧间的手势检测结果,实现对相同手势的跟踪。3.本文提出了一种基于关联信息的轨迹识别方法。本文通过记录所跟踪手势区域的中心点获取手势运动轨迹,并针对轨迹特点设计了一个轻量化的神经网络用于单个轨迹字符分类。针对残缺、无效字符引起的多义性问题,本文将轨迹图像序列视作一个整体考虑,利用设计的轻量化网络作为图像特征编码器,引入关联时序分类模块挖掘轨迹间的关联性,提升轨迹识别算法的整体性能。此外,本文还针对手势特点构建了手势轨迹识别数据集,用于训练神经网络的同时,也为相关算法的性能比较搭建了统一平台。实验结果说明,本文算法表现出良好的性能和效率,能够有效解决自然场景下的手势轨迹识别问题。