人脸检测与跟踪技术是计算机视觉和模式识别领域的一个研究热点，在智能人机交互、智能游戏控制、虚拟现实以及基于内容的压缩编码等方面都具有广阔的应用前景。近年来随着视频电视电话会议等技术的发展，人脸检测与跟踪技术得到了越来越多的关注并已经取得了很大的突破，但是由于人脸本身是一个复杂的非刚体，以及人脸姿态变化和遮挡等问题的存在，如何获取实时鲁棒的人脸检测与跟踪效果仍是一个极具挑战性的课题。　　 本文在分析和总结国内外对人脸检测与跟踪的相关研究成果的基础上，针对特定的应用背景要求，主要做了如下一些工作:　　 1)人脸检测方面，详细分析了Viola-Jones人脸检测算法，根据应用背景的特定要求，引入运动区域检测和人脸肤色检测以缩小人脸检测的搜索区域，有效地提高了人脸检测的帧处理速度，并降低了人脸检测的误检率。　　 2)对基于Meanshift算法的人脸跟踪方法进行了研究与分析，针对其易受背景中类肤色物体干扰和遮挡问题，分别通过将三帧差分得到的运动区域图像与反向投影图像进行类似于逻辑“与”的操作和嵌入Kalman滤波的方法进行了改进。有效地解决了遮挡问题和背景区域类肤色物体对人脸跟踪的干扰。　　 3)对基于光流法的人脸跟踪方法进行了研究，分析了Lucas-Kanade光流计算原理，针对普通光流计算方法对大的位移不够准确的问题，引入了基于金字塔分层的光流计算方法。在分析对比了各种角点检测方法的基础上选取Harris角点检测技术实现对光流跟踪特征点的提取。　　 4)利用各跟踪算法之间性能上的互补性，通过各模块之间的协同合作设计并实现了一个实时人脸检测与跟踪系统，设定了相应的参数，通过实验室录制视频和NRC-(II)T(视频)视频人脸数据库对系统进行了性能测试。测试结果表明系统具有较好的实时性和鲁棒性，能够满足应用背景的要求。