随着计算机科学的不断发展和互联网技术的飞速进步,手势识别技术在人机交互、服务业、信息业等领域得到了广泛应用,逐渐成为人们研究的热点。因此对手势识别算法的研究具有重要的理论研究意义和应用价值。但基于传统的手势识别方法存在识别率低、耗时长等缺点,本文利用卷积神经网络自动对图像特征提取和学习的优势,并结合前景检测和迁移学习算法,设计了一种基于卷积神经网络的手势识别方法,提高了识别率和训练效率。首先,在运动目标前景检测算法方面,针对传统背景差分法在检测手势前景时,存在轮廓提取不清晰,影响手势识别精度等问题,本文对背景重构和阈值选取方法进行了改进,通过对比实验表明改进的背景差分法在手势识别准确率方面提高了2.22个百分点。在选择网络结构方面,针对传统Lenet-5网络结构相对简单,在处理具有复杂纹理特征的数据集时,存在分类精度不高的问题,本文对网络结构进行了改进,利用跨连思想并增加卷积核和全连接层神经元个数,使得网络能够提取更多的特征。相较于传统Lenet-5网络结构在识别精度方面提高了近6个百分点。然后,针对深度学习硬件资源要求高,训练耗时长等问题,本文引入迁移学习算法缩短了近一半的训练时间。针对网络模型参数对最终识别率的影响,本文分别对比了不同的激活函数、优化算法以及Dropout系数,选择了最适用于本文实验的模型参数,提高了模型的识别准确率。实验结果表明,本文所提出的基于卷积神经网络的手势识别算法在识别率和训练效率方面相较于其他方法都有了很大的提高。