实时的人机交互技术在遥控机器人、虚拟现实及远程医疗等领域有着重要的理论和应用价值。而采用手势识别技术来进行的三维实时人机交互是一种更加贴近自然、便捷、直观的交互方式。双目立体视觉是机器视觉的一种重要形式,具有效率高、精度合适、系统结构简单、成本低等优点,在识别手势时,能够瞬间完成图像获取,从而高效的进行测量。本文主要研究一个三维书写系统的建立,基于手势识别和双目视觉技术,实现在三维图形环境中实时还原用户的指尖轨迹,显示书写内容。本文完成的主要工作如下：第一,指尖位置的识别和获取。通过肤色分割和指尖检测算法,获取用户的指尖位置。实现并比较了多种在线的肤色检测算法,最终选取效果最好的一种。通过对比分析基于骨架端点搜索的单指尖检测算法,使用了一种基于重心距离的单指尖检测算法,试验结果表明,该算法具有很好的鲁棒性。第二,指尖位置的三维重建。利用双目视觉技术,将获取的二维指尖位置,通过摄像机标定以及3D重建,得到指尖在三维空间的位置信息。其中摄像机标定通过经典的棋盘图案,利用OpenCV的标定函数获得世界坐标系的原点以及方位。第三,指尖轨迹预测及平滑。利用卡尔曼滤波算法进行书写轨迹的平滑以及下一帧图像中指尖三维位置的预测。再将预测得到的三维指尖位置分别投影到两个摄像机的成像平面,用来设置下一帧图像进行分割的操作区域。第四,基于上述关键算法设计并实现三维书写系统的原型。实验结果表明,该三维书写系统具备了精确的三维指尖检测和显示功能。随着3D摄像机在手机等移动终端及可穿戴设备上的普及,该系统有广阔的应用前景,可以用来实现三维鼠标以及三维游戏中虚拟角色操控等。另外,结合语言、视线、唇语等交互手段,实现多通道、多模式的人机交互,将进一步促进虚拟现实技术的发展,具有很大的研究价值。