人机交互是现代计算机技术不断智能化和自动化发展的一个趋势。人机交互是人体通过自己的手势、行为、语音和表情等与计算机进行交流,为人类操控计算机提供了多样且智能的方式。随着现代计算机视觉技术的兴起,基于视觉的人机交互方式成为发展的主流。其中,静态手势识别和动态人体行为识别等技术是新兴的视觉人机交互的重要方式,可以在设备解锁、机器人运动操控等方面提供出色的表现。而且基于卷积神经网络的图像处理技术表现优异,在硬件设备的保证下,能够充分提取图像特征,可以为视觉人机交互方式提供更好的理论支持。因此,本文在视觉人机交互方式的研究中引入卷积神经网络,使用静态标准手势数据集和动态标准人体行为数据集,分别采用FSSD网络和长期双向循环卷积网络研究复杂背景下的静态手势识别和动态人体行为识别,提高了识别准确率,丰富了智能人机交互的方式。本文的主要研究内容如下:（1）手势数据集增强。详细介绍和分析了手势数据集,针对数据集中远景样本不足的问题,本文设计背景叠加法对数据集中的图像进行处理,扩充了手势识别数据集中的远景样本,平衡了手势类别;同时针对数据集中每类手势样本不足的问题,采用图像空间几何变换的方法扩充手势数据集。（2）静态手势识别。针对复杂背景下静态手势准确率低和识别速度慢的问题,本文设计了一种基于FSSD的静态手势识别算法,算法分为特征提取网络和预测网络。首先,在特征提取网络中设计了反残差深度可分离模块提取静态手势特征,在尽可能保留特征信息的条件下极大地提高了算法的运算速度。其次,在特征提取网络中设计了h-swish激活函数用于深度网络中,提高了算法的准确率。最后,在手势测试集和计算机实时拍摄的动态图像帧中对算法模型进行测试,获得算法的测试准确率和识别速度。实验结果表明,本文设计的基于FSSD的静态手势识别算法提高了复杂背景下手势识别的准确率,满足了手势识别的实时性,可以用于中小型计算机设备中作为人机交互的方式之一。（3）人体行为图像处理。针对复杂背景和其他运动物体干扰的问题,本文采用注意力机制的思想,通过设置图像中前景和背景两部分的权重,重新分配图像的计算资源,对动态人体行为数据集进行了处理。首先,使用FSSD网络训练获得人体检测算法模型。其次,使用算法模型获得图像帧中人体的信息,确定人体的位置和尺寸。最后,将复杂背景和其他运动物体干扰部分的权重设为零,即对其所在位置的像素值进行归零处理。实验结果表明,本文设计的目标定位和资源分配的方法能使人体行为数据集聚焦在人体运动行为上,去除了复杂背景和其他运动因素的干扰。（4）动态人体行为识别。针对存在复杂背景和其他运动物体干扰下的人体行为识别准确率低的问题,本文设计了一种基于长期双向循环卷积网络的人体行为识别算法,由卷积神经网络和双向长短期记忆网络组成。首先,卷积神经网络能够提取每一帧的深度特征信息,获得人体行为的表观特征。其次,双向长短期记忆网络能够提取图像帧与帧之间存在的上下文关系,获得人体行为的运动特征。且双向长短期记忆网络能够将当前帧与上一帧和下一帧同时建立联系,使当前帧的输出结果不仅与上一帧图像有关,也与下一帧图像有关。最后,在人体行为测试集上对算法模型进行测试,获得了算法的准确率和参数量。实验结果表明,本文设计的基于长期双向循环卷积网络的动态人体行为识别算法提高了人体行为识别的准确率,且算法参数量相对较小,可以作为更自然和智能的人机交互方式。