随着人机交互的发展,形象、生动、直观的手势动作被当作人机自然的交流手段,使用户摆脱了键盘、鼠标等传统输入方式的束缚,在人机交互领域中具有不可估量的意义。从手势的输入设备分类,主要有两类手势研究方向：基于数据手套的手势研究和基于视觉的手势研究。从手势识别的对象来分类,手势识别的研究又分为静态手势识别和动态手势识别。本文的工作主要从两个方面进行了阐述：基于HU矩特征的静态手势识别的研究和基于时空轨迹的动态手势的识别。医学虚实融合系统中的实时手势建模与识别技术研究项目中的手势识别是实现虚实交互的关键技术。虚实交互环境中的手势识别存在手势识别率低、识别结果不稳定,和虚实交互效果不好等问题。本文提出基于HU矩的手势识别方法,HU不变矩具有平移、旋转、大小的不变性,通过提取手势轮廓的HU不变矩,应用SVM识别方法实现实时的手势识别。实验证明应用该方法在虚实交互环境中的手势识别交互结果稳定,在虚实交互中有很好的结果。动态手势识别相对于静态手势识别不只有手形的变化,还包括时间和空间上的变化,涉及到对手的时空运动轨迹的识别的研究。本文提出了基于改进的粒子滤波的动态手势的跟踪方法,并提出应用动态手势轨迹特征的方向角作为动态手势的特征,应用隐马尔科夫模型(HMM)对动态手势进行识别,通过实验证明基于手动作的时空轨迹特征的动态手势识别的方法研究具有较好的实验效果。