基于视觉的人机交互是一种新颖而且富有前途的人机交互技术。这种技术将会让人和计算机之间的信息交换变得更为自然、直观和高效。然而,由于环境光照的变化、复杂的背景、视频质量低、计算和存储资源有限等因素的影响和限制,开发具有良好精确性、鲁棒性和实时性的基于视觉的人机交互系统面临着诸多困难。针对人机交互环境的特点和硬件平台的性能,本文将人手检测与跟踪结果作为人机交互的依据,设计、开发了一套性能良好的人机交互系统,并对系统所涉及的关键计算机视觉技术进行了深入的研究。在分析了影响基于视觉的人机交互的几个重要因素的基础上,以人手检测与跟踪结果作为人机交互的依据,设计了适合有限资源平台的基于视觉的人机交互系统。将运动和肤色作为人手检测与跟踪的重要线索,并由此将涉及的关键计算机视觉技术划分为背景消减、肤色检测和目标跟踪三个部分。介绍了基于视觉的人机交互系统的几个典型应用,并通过实验验证了所设计的人机交互系统的性能。为适应人机交互环境下的快速光照变化,提出了一种双层背景建模和背景消减方法。首先采用局部形状作为特征对背景建模,通过背景消减得到前景轮廓；然后在检测到的前景轮廓内,以颜色作为特征,采用改进的高斯混合模型进一步确定前景轮廓内的各个像素是否属于前景。这种由粗及细的背景建模和背景消减方法不仅在光照快速变化环境下具有良好的鲁棒性,也具有良好的实时性。为减轻人机交互环境下光照发生剧烈而快速变化对肤色检测的影响,提出了种结合模型动态自适应和颜色校正的动态肤色检测算法。首先,在最小错误率贝叶斯决策框架下建立了肤色模型,从人脸检测结果上采集肤色样本用于动态更新肤色模型。其次,在光照发生了变化但没有检测到人脸情况下,将当前帧图像的颜色校正到上一次更新肽色模型时的光照条件下,使旧的肤色模型对当前帧图像仍然有效。与此同时,还提出了一种检测光照是否发生剧烈变化的方法。在光照没有发生变化的情况下,降低肤色模型的更新频率。一方面,可以降低肤色模型更新出错的潜在风险；另一方面,也可以减少计算量,提高算法的实时性。提出了一种结合运动检测、目标跟踪、目标检测和目标验证的长时效目标跟踪框架,并分别将其应用于人脸和人手的跟踪。选用实时性与鲁棒性较为平衡的Mean Shift目标跟踪算法作为基础跟踪器,并融合肤色和运动特征来提高目标跟踪的鲁棒性。当基础跟踪器对目标的跟踪失败时,使用级联式AdaBoost目标检测器将目标再次找回。在进行目标检测时,使用运动模板来排除掉大量没有目标存在的区域,明显降低了目标检测的运算量,使算法的实时性得到了保障。目标验证策略的使用避免了多个同类目标的混淆,同时能将短暂消失后再次出现的目标关联起来实现对目标的长时效跟踪。最后,本文对所做的工作进行了归纳总结,并结合本文的不足之处,分析和讨论了进一步的研究计划。