感知用户界面利用人类的感知能力以直观自然的方式表达语义信息。基于现场表演的人机交互技术是感知用户界面的重要组成部分,允许用户直接以自然的身体运动来控制应用程序。因其前所未有的革命性操控方式,引起了学者们的极大研究兴趣,近年来逐渐成为计算机动画、虚拟现实、视频游戏等相关领域的一个研究热点。本文的主要目的是针对该技术的关键问题展开研究,探索了运动索引构建、反应性动作生成、运动自适应、训练样本自动生成、自动特征提取、机器学习等核心算法。在此基础上,分别以Xsens运动传感器、Wii游戏机手柄、5DT数据手套及诺基亚N95手机等为输入设备,开发了PC和手机平台上的多个原型应用系统,并通过一系列主、客观实验验证了算法的有效性。具体来说,本文的主要研究工作包括以下几个方面：1.基于运动感知的直观运动检索。在三维角色动画制作过程中,如何直观地表示检索样例是基于内容的运动检索的一个关键问题。本文利用几何特征为大规模运动数据库建立了索引。在运动检索时,用户佩戴运动传感器大致表演构想的运动,系统通过一个由粗到细的检索过程从后台大规模运动数据库中自动搜索出与之匹配的运动片段。本文不仅给动画师们提供了一种直观可视的交流沟通方式,而且能够大大提高运动素材重用时的运动检索效率。2.符合物理约束的交互式人体反应动作生成。为虚拟人生成反应性动作是虚拟现实和视频游戏等三维图形应用中的一个关键问题。本文介绍了一个基于物理约束的直观虚拟人控制系统。当用户作出交互动作时,系统首先根据用户的示范表演选择一系列候选动作片段；然后通过物理约束对候选动作进行排序,最佳的动作片段被选中用以驱动虚拟人。为了使检索得到动作更加完美地满足虚拟世界的运动学和动力学约束,系统将实时地对其做进一步的编辑调整。3.运动传感驱动的3D直观手势交互。为了使手势交互方式较少受到场地和光线地限制,本章提出利用加速度传感器作为输入设备进行手势识别的方法。对每种手势只要求用户做一次动作采样,系统通过添加噪声等手段来提高训练数据生成的自动化程度；训练数据经过预处理和特征提取之后用于训练机器学习模型。在包含70种手势的测试集上进行识别实验和可用性评估,结果表明该方法能够显著地提升人机交互中的用户体验。4.现场表演驱动的动作编排。现场表演是一种直观自然地展示动作编排者编排意图的方法。本文开发了一个基于三轴加速传感器的动作编排系统。首先,要求用户在预先指定的身体部位放置加速传感器并进行示范表演。然后,系统通过隐马尔科夫模型识别用户表演的动作,最后,系统通过运动时间调整和夸张动作编辑等方法对识别出的动作进行调整,得到最终动画序列。实验结果表明本系统对初学者来说简单易用,可以有效地识别时空差异性较大的动作。5.基于层次化机器学习模型的手语识别。手语本质上是按照一定规则表演的时序运动序列。为了辅助聋哑人与正常人之间的沟通交流,本文开发了一个基于机器学习的手语识别系统。通过运动捕捉设备和数据手套为每个手语词采集了覆盖各种时空差异性的样例。提出了一种层次化机器学习模型,可以较低的代价快速排除大量不可能的候选手语,而使识别能力强的隐马尔科夫模型聚焦于较难识别的手语。在覆盖68个手语词汇的含有1224个运动片段的数据库上验证了方法的有效性。