目前增强现实系统的应用越发广泛。在增强现实系统中,相机跟踪、虚实融合和人机交互是三大核心问题。当用户使用增强现实系统时,徒手交互是最自然的交互方式之一。然而当前手部交互场景下的增强现实系统依然存在着许多不足。例如只引入少量深度线索如透视、遮挡等线索,导致手部与虚拟物体的融合度不高。同时交互方式也局限于手势识别或者简单的碰撞交互。针对上述徒手交互增强现实中的虚实融合和人机交互问题,本文提出了一套基于多通道手部实时运动信息的增强现实框架。多通道的手部实时信息包括:由手部信息采集设备得到的手部位姿、运动灵活的虚拟手交互模型、渲染虚拟手得到的手部深度图以及由肤色检测得到的肤色掩码。本文详细介绍了这些信息的获取方法以及在虚实融合以及人机交互时的应用。在虚实融合时,依据手部深度信息和手部肤色,实现真实手与虚拟物体的遮挡;由虚拟手和虚拟物体的三维模型,实现真实手对虚拟物体的投影。在交互时,既可以选择对手部位置信息进行处理识别手势,也可以选择用虚拟手模型碰撞检测的方法实现对虚拟物体的控制,达到自然人机交互的目标。