人脸检测与跟踪已发展成为计算机视觉和模式识别领域的一个研究热点。近年来随着智能监控、人机交互、视频会议等技术的高速发展,人们要求能够在复杂背景下实时地进行全自动人脸识别,这也就要求人脸检测技术能够克服多姿态人脸检测这一技术难题,实现多视角人脸检测与跟踪。同时由于人脸作为一种典型的非刚体,多视角人脸检测与跟踪研究将极大地推动目标检测和跟踪技术的发展。本文总结分析了近年来国内外多视角人脸检测与跟踪领域的相关研究成果,针对多视角人脸检测与跟踪的精确性和健壮性等关键问题进行了理论研究和系统实验,重点研究了多视角人脸检测算法、基于在线学习的跟踪算法、多目标跟踪系统和精确人眼定位算法。本文的研究工作具体包括以下几个方面：第一,深入分析了多视角人脸检测的各个关键步骤,即多视角分类器结构、AdaBoost算法、向量Boosting算法,以及弱分类器的设计。围绕以上分析,提出了一种新的基于增量学习的广度优先搜索树的多视角人脸检测算法。实验结果表明本文的算法对于多视角人脸有较高的检测率,误检率低,且泛化性能好。第二,结合半监督学习和多样例学习,提出了一种新的基于在线半监督学习的多样例Boosting算法。该算法综合了半监督学习的鲁棒性和多样例学习的适应性,有效地解决了在线跟踪算法普遍存在的跟踪漂移问题。第三,在在线半监督多样例Boosting算法的基础上,提出了一个基于在线学习的多目标跟踪系统框架。该框架采用的样本更新策略使算法高效地结合了离线多视角人脸检测模型并自动进行在线学习,以适应多个跟踪目标的不断变化。实验结果表明,该系统框架能够高效地跟踪复杂环境下多视角变尺度多人脸。此外,该系统对视频序列中多目标的全遮挡和快速尺度变化都有较好的跟踪效果。第四,分析总结了几种基本的人眼定位方法,提出了一种由粗到精的基于最大等照线圆心映射的人眼定位方法,包括积分投影算法、基于AdaBoost的单人眼粗定位算法、基于等照线圆心映射的精确人眼定位算法和人眼对匹配算法等。实验结果表明该方法在定位准确率和运算时间上都有较好表现,尤其是对光照变化有较强的鲁棒性,可广泛用于实时定位系统。