人机交互是指人与计算机之间相互交互和影响的方式。从第一台计算机诞生到现在，人机交互方式也发生了翻天覆地的变化。如今，人机交互正向着“以人为中心”的多模式方式发展。美国将人机交互列为21世纪信息技术计划中的四大基础研究之一。基于手势识别的人机交互方式将用户的手势作为人机交互的输入，因此需要获取用户手势的静态数据与动态信息。获取信息的方式有三种，分别是基于数据手套的方法、基于手持装置的方法和基于计算机视觉的方法。其中基于计算机视觉的方法是指通过视频采集设备将用户手势的手势拍摄下来，通过计算机图像处理等方法提取视频中手势的数据与信息。该方法需要借助计算机图像处理的相关算法对视频数据信息进行分析处理来实现对手势的识别。本课题面向人机交互应用，通过对手势视频的实时处理，先后经过提取手势、计算手势特征、静态手势特征匹配、动态手势匹配四个步骤来完成对动态手势的语义识别。尤其是针对复杂背景下手势前景的提取、基于多特征的静态手势特征描述与匹配方法和基于多特征的动态手势描述与匹配方法做了深入研究，并在此基础上设计了一个3D魔方游戏作为应用背景。该应用以用户的手势作为3D魔方游戏的输入，实现了人机之间的友好交互。在手势提取方面，本文针对3D魔方游戏中背景复杂的特点，将采样视频转换到YCbCr空间，以贝叶斯肤色模型为基础进行手势分割。并在该模型的基础上提出了两种优化方法，使手势前景的提取效果更具有自适应性。该方法根据视频信息中有大量时间冗余与空间冗余的特点，对分割结果不断地修改，并反馈在贝叶斯肤色模型中，有效地解除了复杂背景对手势提取的制约，在一定程度上改善了手势前景的提取效果。在手势特征描述方面，本文使用了三种方法来描述静态手势的特征，分别是轮廓特征、指尖特征和掌心特征。其中轮廓特征应LCS描述方法来表。本文同样使用了三种方法来描述动态手势的特征，分别是静态手势序列、指尖运动特征和掌心运动特征，其中静态手势序列是指一组有序的静态手势编号。在手势匹配方面，静态手势匹配是指提取到的当前的LCS序列与定义的标准静态手势的LCS序列依次匹配，选择最匹配的标准静态手势。而动态手势匹配是对连续几帧的静态手势的匹配结果进行匹配。最终确定这几帧图像表达的动态语义本文分别对静态手势和动态手势分别使用了以一种特征匹配为主，另外两种特征为辅的方式。最后在上述研究基础上，将手势描述与匹配算法与具体应用相结合，实现了对输入手势的自动识别，并选取虚拟现实环境为应用背景，在VS2008环境下设计了一个3D魔方游戏。实验表明该应用在样本图像与实时图像之间的静态匹配、动态匹配精确度较高，在人机交互效果、实时效果方面都表现出了优异的性能。