随着计算机各方面技术的发展，传统的人机交互方式正面临着巨大的挑战，自然与和谐的交互方式是未来人机交互发展的方向。手势作为日常生活中被广泛使用的交流方式，不仅包含强大语义，而且还能直观的表现交互意图，因此手势交互是重要人机交互方式之一。基于视觉的手势交互以其自然友好的交互方式最符合人类的交互习惯，从而使得基于视觉的手势交互成为人机交互方面的研究热点。本论文依托国家自然科学基金(No.61173079, No.60973093)，山东省自然科学基金重点项目(ZR2011FZ003)等，以减少用户认知负担为出发点，对手势交互进行了全新的研究。怎样减少手势交互过程中认知负担是本论文研究的重点。认知信息作为以暗示，隐喻，或明确的方式帮助用户完成操作的信息，能够帮助减少用户认知负担，因此本文研究重点是认知信息以及怎样将认知信息应用到具体的手势交互中。本文主要分析了虚拟装配平台下手势交互的认知信息，并将认知信息应用到具体的手势交互过程中。首先从总体上研究认知信息的概念、分类以及可视化，并对各种类型认知信息进行具体挖掘分析；接着根据各类认知信息的特性将其应用到物体选择、碰撞检测以及纠错处理等交互过程中，从而减少这几个交互过程的认知负担。本文主要工作如下：1、实现复杂背景下的手势分割与手势跟踪。利用基于亮度索引和特征向量的肤色模型进行手势分割，使得手势分割在室内稳定光照具有很好的鲁棒性。手势跟踪将传统粒子滤波中的随机采样转变为高斯采样，并对权值进行优化，改善了跟踪的精度。2、分析虚拟装配平台下手势交互的认知信息。在对认知信息进行分类基础上，分析总结了各类认知信息在手势交互中的特点以及其对手势交互的作用，并给出部分认知信息组织获取的方法，以及寻找最佳认知信息可视化的方法。3、提出一种虚拟装配平台下的导航信息模型，此模型通过场景信息和三维手势状态信息产生导航信息，并将导航信息可视化，从而引导手势交互的进行。并利用此导航信息模型提出了新的物体选择和碰撞检测算法，不仅使得在进行物体选择和碰撞检测时用时较少，增强了交互的实时性，更重要的是减少了用户在手势交互中的认知负担。4、提出一种自我反馈纠错算法，首先划分手势交互的过程，并建立场景信息库和手势状态信息库，其次，将各子过程的起始位置的手势状态信息和场景信息存入对应的信息库，并分别建立手势状态时序表和场景信息时序表，最后通过访问手势状态时序表和场景信息时序表来实现回退操作。通过建立场景信息库和手势状态信息库，避免手势交互过程中信息的冗余，通过划分交互过程，使得回退过程中以子过程为间距，保证操作的完整性。实验结果表明，本文的自我反馈纠错算法不仅纠错快速，而且还减少用户的认知负担。此算法实现了对操作者误操作的纠错，现在关于这方面的研究还比较少。