随着计算机技术的迅猛发展和个人计算机的普及，再加上物联网、语音识别、人工智能、虚拟现实等技术的出现，基于计算机视觉的人机交互开始出现，其核心是通过视觉识别和视觉跟踪来实现人机交互。这种人机交互方式允许用户通过语音、表情、手势等更符合人类交流习惯的自然方式进行计算机操作，所以该领域成为当前研究的主要领域。作为人机交互中的手势交互就显的尤为重要，因为手势交互是人机交互中的主要交互方式，也是人机交互中最为方便的方式，而实现手势交互的前提是需要对手势进行检测和跟踪，只有能对手势进行检测和跟踪后，才能根据手势的形状和运动轨迹来判断用户手势所要表达的含义。因此越来越多的学者将研究的重心放在了手势的检测与跟踪上。手势检测是目标检测的一种，其主要目的是检测出视频序列中出现的手势，目前常见的手势检测方法有：基于运动信息的手势检测、基于图像分割的手势检测、基于模板匹配的手势检测和基于统计学习模型的手势检测，本文在分析各种方法的优缺点之后，采用基于统计学习模型的手势检测方法来检测视频中指定的手势，为了建立学习模型的统计特征，本文采用改进的局部二值模式（Local Binary Pattern，LBP）特征算子来对手势区域进行表示，通过支持向量机（SVM）对样本进行学习统计后，形成一个手势分类器，使用该分类器来对视频中的指定手势进行检测。实验表明，该检测方法具有较高的鲁棒性和实时性。在手势检测完成之后，我们通常需要对手势进行跟踪，从而掌握在整个人机交互过程中手势的运动轨迹，进一步的判断出手势所要表达的含义。本文在分析传统的目标跟踪方法后，提出一种基于改进的On-line AdaBoost算法的手势跟踪算法，该算法针对传统On-line AdaBoost算法在长时间跟踪过程中会产生较大的“漂移”这一缺点进行改进，改进的主要思想是：在使用传统On-lineAdaBoost算法跟踪的同时，使用基于一致性特征点的LK光流法对手势进行跟踪，然后使用两个算法中重叠手势区域大于指定阈值（本文选择70%）的情况来更新On-line AdaBoost算法的弱分类器，这样就会减少在跟踪过程中产生的不良手势样本，从而减小了长时间跟踪而出现的跟踪“漂移”现象。同时为了分析常规的单目摄像头中手势运动动作，本文根据手势的形状结构建立了一个手势形状结构模型（SSM），然后使用该模型对手势进行建模，然后分析其在整个视频序列中的动作，包括手势的平移、旋转和拉伸。实验结果说明，该模型具有良好的鲁棒性和准确性。