基于图像处理的手势交互是一种不需要用户接触硬件设备的新型人机交互技术,相比传统的使用鼠标键盘等输入设备的交互,手势交互技术凭借其自然、直观、沉浸感强等优点,在虚拟现实、公众展览等领域具有独特的优势,具有广阔的应用前景,受到国内外学者的广泛关注。在进行手势交互时,首先需要通过手势识别技术识别用户的手部动作,然后将用户的手部动作映射为对计算机的交互命令,因此手势识别技术和手势交互映射的定义是决定手势交互用户体验的关键环节。现有的手势识别技术存在识别准确率低、实时性与识别准确率难以同时保证等问题,而手势交互映射的定义往往带有随意性过高、缺乏用户实验依据等问题。为此本文面向手势交互技术的需求,从手势识别算法和手势交互定义两个方面开展了深入的研究工作,主要研究成果和创新点包括:1)提出了一种改进的特征参数化随机森林分类器算法及其高效实现方法。通过在传统的特征参数化随机森林分类器算法每个分割节点的训练过程中引入粒子群优化替代传统算法中的纯粹随机抽选过程,解决了传统算法中分割函数非局部最优的问题。实验结果表明,与已有的算法相比,本文所提出的改进算法在数据集理想或不理想的条件下都可以明显地提高算法分类的效率,当使用相同数量的候选特征向量且训练时间基本相同时,错分类率随树的深度增加下降更快,在相同树深度处错分类率更低。通过数据结构、样本索引、多线程引入等多个方面的优化设计高速实现了传统算法和改进算法。2)提出了一种基于特征参数化随机森林分类器的手势识别算法。在深入分析手势识别问题特点和特征参数化随机森林分类器特性的基础上,设计了既可以表示手部轮廓信息、又可以表示轮廓内深度纹理信息,具有一定程度尺度不变性和平面旋转不变性的深度特征,配合随机森林在近无穷维度上的特征搜索及特征的有序组合,实现了对任意视角上复杂手势的识别。在美国手语拼写（ASL）公共数据集上的实验结果表明,本文提出的手势识别算法的总体识别准确率达到国际最先进水平,而对于相似手势的识别准确率有进一步明显的提升。同时算法的运行速度大幅提升（600帧每秒）,所需要的计算资源大幅降低,适用于实时手势识别应用中。3)研究了应用于远程会议系统的手势漫游交互技术,基于本文提出的手势识别算法、针对应用环境设计的手部检测跟踪算法以及手势交互的定义,实现了用户在3D虚拟环境中行进和转向的手势漫游交互。提出了一种手势漫游交互中的交互参数对用户体验影响的评估方法,设计了手势漫游交互的用户实验,研究了手势漫游交互中速度映射曲线的不同参数值对漫游效率、用户喜好和用户疲劳度的影响,为手势漫游交互类应用的交互定义设计提供了用户实验依据。