近几年,计算机技术快速发展,如何让人类更加方便、自由地对计算机进行操作,成为了虚拟现实、工业智能化等领域的一个重要且有价值的热点问题。三维空间中人体手部关节信息的准确获取和手姿的准确估计是人机交互的重要基础。因此,如何更加鲁棒、实时、稳定地获取空间中三维手部关节信息,对手部姿态进行估计是该课题研究的主要内容。本文首先阐述双目立体视觉获取深度图像的原理,提出了融合多特征代价计算和超像素代价聚合的立体匹配方法。在代价计算步骤,本文将物体边缘特征与图像Census、SAD特征相融合,增强了在边缘等深度不连续区域的识别度,减少了误匹配现象。利用超像素性质对图像分割,并对分割后的图像进行基于米字骨架自适应搜索,得到代价聚合区域,增强了在缺乏纹理区域的正确匹配率。在视差精化部分,利用超像素分割信息,对错误匹配视差进行修正,提高了匹配的精度。其次,本文利用双目视觉原理将手部视差信息转换为深度信息,并通过自适应高斯混合模型对场景进行建模,将手部大致区域检测出来。在这一步骤中,手部在图像采集的前几帧需要保持挥动动作,以保证手部的正确检测。同时利用手部深度信息将检测出的非手部区域删除,得到完整的手区域。将手部肤色直方图和背景颜色直方图进行对比,建立手部肤色模型。然后,利用手部肤色模型在图像序列中对手部进行分割。最后,在对手部姿态进行估计部分,将分割后的手部深度信息转换为3D点云,通过PCA(Principal Component Analysis)计算点云的方向信息,并在手部点云周围添加OBB(Object Oriented Boxes)包围框,以将不规则的三维点云坐标规范化。通过将规范化的手部点云输入改进的多尺度手部姿势估计网络,使网络对不同尺度图像提取特征,增强网络的鲁棒性和精确度。将估计的手部关节点输入关节点优化网络对手部关节点位置进行优化,进一步提高关节点估计的准确率。