基于视觉的手势识别是当前人机交互研究中的一个重点和热点。本文总结了典型视觉手势识别即包括图像采集、图像预处理、手势分割、手势建模、特征提取和分类识别数个步骤的工作流程,详细比较其中手势识别步骤所使用的基于静态手形结构信息和基于动态手势运动轨迹的识别算法的异同。本文主要针对单目视觉下的实时残疾人手势识别进行了研究,单目视觉即利用计算机的单个摄像头对手势信息进行获取以供处理和研究。本文将传统的视觉手势识别应用到残疾人人机交互中,基于手势识别和WebRTC框架提出了残疾人鼠标系统的设想。系统采用B/S架构,将图像获取、命令执行和图像匹配分离,浏览器只负责图像获取和鼠标操作的模拟,服务器端完成对客户端浏览器透明的图像匹配和命令反馈。引入HTML5中的新特性WebRTC和WebSocket使得可以浏览器获取残疾人可控物体图像和并向服务器端提交。B/S架构的设计使得系统可以构建于云环境并具有良好的扩展性、伸缩性和可定制性。在服务器端手势识别模块的实现上,本文先后提出了基于静态手势识别和基于动态手势跟踪的两种图像匹配算法：基于静态手势识别的算法中使用形状比例和转角函数等进行特征抽取,使用背景差分和欧式距离进行图像匹配,在快速响应的同时保证匹配的正确率。实验表明此算法已经达到我们初期的设计目的,具有可接受的延迟,但是可能出现可控物体自身形态结构特征区分度不够的问题。基于动态手势跟踪的算法使用CamShift跟踪可控物体,记录可控物体运动轨迹,结合可控物体形态特征,判断是否记录其轨迹信息以绘制手势图形,将手势图形转换为8方向向量利用Levenshtein距离进行特征提取,解决了基于静态手势识别的算法中可能出现的问题。