在人类的日常交际中,人们往往会通过不同的手势表达自己的思想,手势在人们的生活中起着非常重要的作用。正因如此,手势交互也成为人机交互领域的热点问题,人们一直致力于研究出更加自然、和谐且具有认知行为的交互算法。当前的手势交互算法都是采用逐帧跟踪,计算量非常大,导致交互效率低下。为此,我们不得不反思这样一个问题:在基于手势的非精确直接交互条件下,是否有必要对每帧手势都进行跟踪并获取其精确的三维手势模型?本课题获得国家自然科学基金(No.61173079,No.61472163)和山东省自然科学基金重点项目(No.ZR2011FZ003)资助。手势交互算法发展已久且取得了很多成就,但关于跟踪精度和交互效率低下的瓶颈一直难以突破。本文通过研究用户在交互过程中的视觉关注分布规律来尝试解决目前方法中存在的跟踪速度瓶颈问题。视觉关注机制是一个极其复杂的过程,因其超乎寻常的复杂性和不确定性,涵盖了认知科学、神经生物学、心理学等多个学科。人类的视觉系统在处理视觉信息的过程中,总是快速筛选出用户感兴趣的对象,而忽略或舍弃其他的非感兴趣的对象,这使我们可以快速合理的分配资源,从而极大地提高了视觉系统处理信息的速度。本文主要任务包括如下两方面,一方面是研究出人类的视觉关注分布规律,同时视觉关注机制具有筛选数据信息的能力,这为提高手势交互的效率提供了依据,因而具有重要理论意义。另一方面,目前在普通PC机条件下要达到手势的三维实时跟踪还极有难度,本文研究从新的角度探索手势的实时跟踪,在新型3D人机交互界面设计中具有重要的应用意义。本课题主要研究工作和创新点如下:(1)使用Tobii眼动仪对人眼的视线进行实时跟踪为了研究视觉关注分布的规律,本课题使用了Tobii眼动仪对用户的视线进行实时跟踪。Tobii眼动仪能够在用户最自然的状态下记录眼动的最精确数据,这对研究视觉关注分布规律是十分重要的。通过使用Tobii眼动仪进行手势交互实验,我们能够看到用户在每个区域的关注时间,从而可以获知用户的感兴趣区域与不感兴趣区域。(2)建立了视觉关注模型通过对人眼数据的深入分析,最终为手势交互过程的平移、抓取、释放阶段分别建立视觉关注模型。这些模型是从三维手势模型到目标位置之间的距离及视觉关注强度角度进行深入研究。经实验证明,视觉关注的分布规律完全符合人们认知行为。(3)提出了基于视觉关注分布的三维手势跟踪算法该算法的创新点是:将粒子滤波算法与视觉关注机制进行了结合,并且使算法中的粒子具有自适应性。该算法不仅解决了当前手势交互算法存在的瓶颈问题,而且还符合人们自然的交互习惯。简单来说,随着视觉关注强度的变化分布的粒子也不同,在视觉关注强度较低时,则用动画来实现。经实验验证,该算法较好的提高了手势跟踪精度和交互效率,而且交互方式符合人们的自然交互行为,从而体现了新的人机交互以“人”为中心的目标。人类的视觉关注机制具有快速筛选数据信息的能力,本文将视觉关注机制应用到手势交互中提高了手势交互的效率,为人机交互研究开辟了新的思路,具有一定的理论意义。从视觉关注机制角度探索手势的实时性跟踪也为手势跟踪的应用提供了新的方法,具有一定的应用价值。