手势交互是一种简单、自然、高效的人机交互方式,也是近年来自然人机交互研究的热点。对于简单手势交互场景,静态手势分类和手部姿态估计已满足交互场景需求,但近年来,随着VR、AR、元宇宙等概念提出,对手势交互场景也提出了更高的需求,比如实时且精确的动态手势识别、虚拟人物驱动、虚拟物品穿戴等。对手部语义的理解是手势交互系统设计的核心,为更好满足上述交互场景需求,我们将对手势交互相关基础算法进行研究,具体包括基于骨架序列的手势识别,人手三维网格重建及轻量化应用。（1）针对骨架序列手势识别任务中,卷积算法中固定采样策略和远距离特征传递困难的问题,我们提出一种可变骨架序列特征提取模块DPM（Deformable Pose Module）,通过额外的偏移量预测支路,自适应地对关键点、关键帧偏移量进行预测,实现更有效的特征采样。我们在多个手势公开数据集进行实验并均取得目前最好的识别结果,并且多重消融实验证明,我们提出的模块对噪声数据具有更强的鲁棒性和更好的多尺度特征捕获能力。（2）针对人手三维网格重建任务中的编-解码器方案,解码器只基于编码器输出单一尺度特征进行解码重建的局限性,我们探索了多尺度特征聚合对人手网格重建影响,提出基于多尺度特征聚合人手网格重建框架MS-HMRecon（Multi-Scale Hand Mesh Reconstruction）。我们尝试了多种多尺度特征聚合策略,包括:1)引入PAN（Path Aggregation Network）,丰富编码器多尺度图像特征表达;2)对当前基于螺旋卷积的解码器进行优化,提出一种融合多尺度感受野的高效螺旋卷积解码器DSC（Dilated Spiral Conv）;3)设计了多支路解码器结构,相比基于编码器输出单一尺度特征的重建方式,多支路结构可以充分利用不同层次图像特征实现更精细的网格恢复。在公开数据集Frei HAND上与现有公开算法进行对比,我们提出的重建算法取得目前最高重构精度。（3）针对应用中移动端人手三维网格重建需求,提出轻量化人手网格重建框架Light-HMRecon（Light Hand Mesh Reconstruction）。我们对Mobile Net V2中提出的逆残差模块进行重新设计,提出Rep LKIR（Rep-Large Kernel-Inverted Residual）,结合大卷积核及模型重参数化方法,以少量计算量和参数量增幅为代价大幅提升模型性能。我们基于Rep LKIR实现了Light–HMRecon中各模块的轻量化,并结合移动端推理引擎NCNN完成模型部署。经过我们深度优化的Light-HMRecon,计算量约600M MACs,参数量约2.6 M,在i Phone 12 A14处理器上,推理速度超过100 FPS,基本实现实时交互的需求。