人机交互(Human-Computer Interaction, HCI)技术作为一个独立的研究领域自诞生以来一直影响着计算机科学的发展。随着计算机的普及，人们对交互方式的要求也越来越高。以往人去适应计算机的交互方式已不能满足人们的要求。人机交互技术正向着计算机不断去适应人的方向发展。普适计算(Pervasive Computing)时代是一个交互手段多样化的时代，基于视觉的手势交互(Vision-based Gesture Interaction)是其中不可或缺的一项关键技术。但是视觉手势交互在技术和应用方面都存在着诸多挑战，本文对单目视觉下的手势交互技术的实现及应用做了尝试性的研究。主要工作如下；　　 (1)在变形手势跟踪方面：为了解决复杂背景下（如有肤色干扰的背景）的变形手势跟踪问题，研究了现存的大量跟踪算法。提出了一个基于均值移动和Kalman滤波器的变形手势跟踪框架。　　 (2)在跟踪自动初始化方面：同时讨论了跟踪开始以及跟踪失效时的初始化解决方案。提出了一种变形手势跟踪过程中自动初始化的层次模型并基于该模型提出了一种有效的系统状态检测方法。　　 (3)在静态手势识别研究方面：基于快速原型系统开发的背景提出了一种基于PGH（成对几何直方图）的静态手势识别方法。并在其基础上采用一种基于肤色统计的辅助算法进行改进，形成一种基于少量手势模板的高效静态手势识别方法。　　 (4)在系统应用方面：基于以上研究开发了一个手势工具箱IEToolkit，这是一个屏蔽了计算机视觉底层技术的快速原型系统。在交互应用方面提供了高层语义映射，实现了与互动游戏界面的较好集成。并基于该工具箱开发了一些互动娱乐系统。　　 本文提出的各种算法简单易于实现，实验表明，本文方法能在在复杂运动下有效地对多手势进行识别和跟踪，能够满足基于视觉的实时人机交互的要求，并能用于基于视觉的互动娱乐领域。