因为手势具有简洁、易理解和非接触等特点,所以在人机交互领域中手势识别及其应用是研究的热门方向之一。相较于早期依赖数据手套等成本昂贵的穿戴式设备,基于视觉的手势识别具有非接触式交互的优势,尤其在智能机器人等人机交互系统中利用摄像头采集的图像,快速检测定位出手势所在区域,通过识别手势类别进而判断手势的含义来控制相应的功能模块,具有控制灵活、简单等特点。然而,由于手势本身的多样性、检测背景和环境的复杂度对手势识别的准确率产生了一定的影响,随着深度学习和深度神经网络模型的不断发展,为提高手势识别的准确率带来了新的机遇。相对于传统的图像识别方法而言,深度学习是以图像作为输入,通过构建的卷积神经网络结构层层卷积进行特征提取,避免了人工设计的特征提取算法的单一性,并利用反向传播等算法不断优化整个网络的参数,进而提升对目标物体的识别准确率和鲁棒性。但近些年为了追求更高的识别需求,不断加深的网络结构也产生了更多的参数,增加了计算成本,同时降低了整个模型的识别速度和减少了可移植的机会。本文通过SSD与MobileNet网络结合所得出的轻量型MobileNet_SSD模型,对复杂环境下的10类手势进行检测,由于每类手势高宽比例大小相对固定,所以对预测层中默认的锚点框宽高比值进行调整,有效提高了检测效率。根据图像中检测到的手势预测框分割出待识别的手势图像,降低了周围环境对手势识别的干扰影响。在手势种类识别方面,还需要对检测分割出的手势图像进行预处理,进一步降低手势背景对手势识别准确率的影响,采用迁移学习InceptionV3模型在自建的10类手势数据集上再训练,针对10种手势在验证集与测试集上识别准确率高达98.4%,为验证模型的实时性,将该模型移植到人机交互平台进行测试,实验结果表明通过该方法能有效提高手势识别准确率且实时性较强。