手势在人际交流中是不可或缺的一部分,手势识别也成为人机交互中的一项重要实现技术手段。在许多虚拟现实的应用中,用户对虚拟物体进行操作时,传统的鼠标、键盘等人机交互手段很难满足用户操作的趣味性。手势识别在许多实际应用领域中有广阔的应用前景,特别是基于视觉的手势识别,可以提供极为和谐、自然的人机交互方式。基于视觉的手势识别也就成为一个研究热点。然而,手势具有多义性、多样性、复杂性等很多特点,基于视觉的手势识别一直是计算机视觉研究中比较活跃且极具挑战性的研究课题。本文设计开发一套基于双目视觉的自定义手势识别系统,该系统能够对自定义的静态和动态手势进行识别。本文分析和总结国内外在手势定义、分割和识别等相关方面的研究现状基础上,特别是对双目视觉的手势识别模型和算法进行了比较系统的研究,主要包括以下几个方面：研究了相机的成像模型以及相机标定中使用的一些坐标系,在考虑到相机的枕形畸变的情况下,结合经典的张正友相机标定算法实现了一种自适应的相机标定算法,并将其应用于双目相机的标定上。在手势分割中,根据肤色在特定的颜色空间中具有良好的内聚性,本文利用肤色的这一特征对手势进行分割。此分割方法将手势图像从RGB颜色空间转换到HSV颜色空间,并使用双目相机的深度信息,以及手部的几何特征对分割进行约束,减小了背景中类肤色以及除手部以外的其他肤色的影响。在手势边缘检测时,本文对传统的Canny边缘检测算法进行了改进,提出了一种自适应的Canny边缘检测算法。手势跟踪阶段,本文采用了Cam-shift算法,通过被分割目标的H(色调)颜色分量的概率分布图来确定目标的颜色质心,对手势进行快速的跟踪。对于手势识别,本文将其分为静态手势和动态手势两种类型进行分别识别。静态手势采用Fisher线性判别的算法进行识别,动态手势则利用双目相机的优势,考虑到手势存在遮挡的问题,使用双路同步视频对手势建立HMM,在识别的过程中,也对两路视频同时识别,以提高识别率。