随着现代技术的发展和计算机性能的飞速提升,人机交互逐渐变得自然化和多样化,因此,研究灵活、自然的人机控制方式具有重要的意义,尤其是依靠手势识别的控制方式。如果用计算机视觉的方式进行手势识别而不是用数据手套、遥控器这些硬件设备,将极大方便人们的生活需求。计算机视觉通过使用算法实现对人类视觉的模拟仿真,可应用于控制、医学图像分析、目标检测等方面,亦可应用到人工智能、图像处理和科学计算等多个领域,最终的目是让计算机可以像人类那样通过视觉去看和理解现实的场景。让计算机视觉去理解人们手势传递的信息,可以减少接触式器件带来的束缚。进行手势识别是一个比较有挑战性的技术,传统的图像处理难以做到令人满意的效果,因为人手的变形具有不定性,还要考虑目标定位、运动状态、动作序列、环境干扰和被遮挡等多种问题的困扰,这也让手势的识别成为计算机视觉领域长期研究的重点和难点。本文基于深度学习Tensorflow框架和Ubuntu16.04操作系统,通过两种方式实现了手势识别,仿真实验结果表明:提出的改进算法达到了良好的手势识别效果。本文完成的主要研究工作内容如下:(1)对卷积神经网络的基础理论做了阐述,包括卷积神经网络的原理、卷积层和反卷积层的特征输出、目标函数的优化以及残差技术原理,为后续手势图像识别算法的研究和实现奠定了理论基础。(2)提出了基于改进胶囊网络与算法的手势图像分割与识别方法,即通过手势分割、手势定位和手势识别的方式实现了手势识别。首先利用改进的胶囊网络算法,再结合U-net网络和残差技术,实现了U型残差胶囊分割网络,完成了对手势图像的分割;然后对矩阵胶囊网络进行结构优化,完成了对不同类别的手势图像的识别;最后通过数据集的训练和测试,得出了手势图像分割的性能指标、P-R曲线、ROC曲线、网络中间层特征可视化图、手势图像识别的混淆矩阵、手势图像识别loss曲线和识别准确率曲线。通过仿真结果表明,提出的改进模型达到了较好的识别效果。(3)研究了基于Tiny Yolo v3、Deep-sort和DenseNet多模型与算法综合的方法实现手势识别。具体研究分析了Tiny Yolo v3检测算法、Deep-sort目标跟踪算法和DenseNet算法,通过制作数据集进行模型的训练,首先训练好Tiny Yolo v3、Deep-sort和DenseNet三个模型,然后将几种模型和算法进行有机整合,实现了一种在复杂背景下对手势的检测、追踪和姿态的识别方法,算法流程速度达到每秒7~8帧。