随着视觉计算技术的发展，基于手势识别的自然交互方式使人机交互进入新的阶段，弥补了传统交互方式的不足。现有的基于视觉的手势识别研究仍然存在着一些不足。例如，基于肤色进行手部提取的方法需要凭经验设置肤色的阈值；当于与脸发生遮挡时，如果没有对手与脸的位置进行跟踪，会丢失手的位置；要求手掌基本平行于摄像头，导致用户长时间手部弯曲而感到不舒适；利用面积变化来测量手掌与摄像头之间的距离，在手与摄像头距离较远的情况下误差较大。　　 本文设计了一套具有11个手势的小型手势词汇，结合静态与动态手势，具备光标定位和发送命令的功能。在手势跟踪部分，本文在YCrCb颜色空间建立了一种基于高斯分布的统计模型，通过对手部图像的采样统计，自动初始化手部的肤色参数和面积参数；本文还提出一种通过估算质心位置的方法，较好地解决手与脸遮挡时的位置跟踪问题。在手势识别部分，本文使用预定义规则对静态手势进行识别，并利用正交放置的两个摄像头协同工作，从两个视角观察得到手势特征，提高静态手势的区分度；动态手势是针对从两个视角观察到的手势动作的运动轨迹，分别建立一套离散型隐马尔可夫模型(HMM)，在识别时有效综合两套模型的识别结果，实现对手势动作的三维运动轨迹的识别。　　 通过实验对比，验证了本文所提出的基于采样参数的自动初始化、解决手脸遮挡问题、以及多摄像头协同工作等方法的有效性。本文采集11种手势一共2200个动态于势视频作为HMM的训练与测试数据。　　 基于上述研究，本文设计并实现了一个手势识别系统G-Sense。G-Sense使用两个普通摄像头，利用Picasa照片浏览软件和一个拳击小游戏进行手势应用展示，以评估本文提出的手势识别方法的有效性。邀请了若干用户来试用系统，对手势设计和识别效果进行调查问卷，验证系统的可用性。