随着时代的进步和科技的快速发展,军事电子沙盘也向着多样化、智能化、个性化的方向发展。在现代信息化联合作战条件下,作战人员需要能够进行高效的会商研讨、协同作业,这对电子沙盘态势展现的直观性、交互操作的便捷性以及协同研讨的高效性提出了更高的要求。传统的电子沙盘借助触屏、红外遥控等技术实现对沙盘的操控,存在成本高、转移不便且交互方式单一等缺点,与上述要求存在着较大的差距。近年来,增强现实(Augmented Reality,AR)技术已经成为研究的热门课题,它带来了超越现实的三维视觉体验和便捷的人机交互方式。针对传统沙盘的不足,本文设计和实现了一种基于AR技术的电子沙盘协同交互系统,论文主要创新成果包括:(1)研究和实现了面向AR电子沙盘的多模态自然人机交互系统。分析了电子沙盘交互流程和交互要素,设计了多模态自然人机交互框架,建立了自然人机交互语义与沙盘操作的映射关系;根据应用需求定义了中文语音指令库,基于微软Speech SDK实现了中文操控指令识别功能;基于表面肌电传感器实现了指控手势的识别。实验表明,以凝视、手势和语音三种自然交互方式不仅可以满足军事沙盘的交互操作需求,而且增强了输入的有效性,提高了交互的自然性和高效性。(2)研究和实现了AR电子沙盘的本地多人协同交互技术。基于虚拟场景共享技术使佩戴不同AR设备的用户可看到同一个摆放在真实空间的虚拟沙盘,任何一个人对沙盘的有效操作都会同步广播给其他用户,从而实现了多人研讨的功能;设计了并发控制策略来解决多人对同一目标同时进行操作时产生的冲突问题。(3)为实现异地可视化协同研讨功能,提出了一种面向虚拟化身的三维表情模拟技术。首先,使用RGB摄像头跟踪异地作业人员的表情,基于约束局部模型(Constrained Local Models,CLM)定位人脸特征点的坐标数据后传输到本地;然后采用基于径向基函数的插值算法计算虚拟化身面部网格点的坐标,驱动模型模拟出与异地作业人员相同的表情;为了提高变形算法的精度和效率,提出一种基于贪心算法与人脸肌群分布的插值控制点选取和分区域插值方法。实验表明,本文的表情模拟技术能够满足实际应用对实时性和真实感的需求。论文主要研究了面向AR电子沙盘的自然人机交互技术,实现了AR电子沙盘本地、异地多人协同交互功能;增强了电子沙盘态势展现的直观性、人机交互的便捷性、多人研讨的高效性。