随着人机交互技术的不断发展,各种各样的新型人机交互技术不断涌现。基于视觉的手势识别技术由于比较符合交流习惯成为近年来应用于人机交互技术中的一项关键技术。基于视觉的手势识别是当前涉及图象处理、模式识别、计算机视觉等领域的一个比较活跃的课题。基于视觉的手势识别具有很广泛的应用价值,例如(1)控制VR中的智能化;(2)机器人控制;(3)虚拟现实系统中的多模式接口等。目前关于手势识别的研究大多是基于静态的手势识别,而对于实时的动态手势跟踪与识别涉及较少,本文创新性地研究了复杂背景下的实时手势跟踪与识别技术。随着实验的不断完善,此项技术势必会促进手势识别技术的应用,使得人机交互更加自然方便。首先本文在手势分割阶段提出了肤色提取并溶合运动信息的新方法。具体方法是利用YCbCr颜色空间和基于高斯模型的肤色建模对肤色进行提取,并通过图像差运算进行运动信息分析去除图像中的类肤色背景。该方法保证了在复杂背景下手势分割的准确性。其次本文在手势跟踪算法中提出了CAMSHIFT算法与Kalman滤波算法相结合的新方法确定搜索窗口以获得手的位置。具体算法为,使用Camshift算法计算手势跟踪窗口的位置和大小,并用Kalman滤波预测手心位置。该算法很大程度上提高了跟踪效率,保证了跟踪的实时性。最后在手势识别阶段利用基于Hausdorff距离的模板匹配方法实现了对预定义的两种手势进行识别。为了验证以上算法,本文设计了一个人机交互系统,该系统可以利用手与机器进行简单的操作交互。实验表明,该系统跟踪效率高,同时对两种预定义手势也能达到有效识别。