随着科学技术的快速发展和人类日常生活的需要，人脸检测与跟踪技术已经成为图像处理与计算视觉的一个热门话题。基于视频序列的人脸检测与跟踪技术也随之发展应用于生产生活的各个领域，如视频会议，智能监控等。本文研究了国内外大量有关视频序列人脸检测与跟踪算法，分析了目前人脸检测与跟踪技术发展状况。重点对基于视频序列的人脸检测与跟踪算法进行了深入的研究和探索，以提高人脸检测的速度及精确性为主线，在已有研究成果的基础上设计并实现了一种有效、快速的基于视频序列的人脸检测与跟踪算法。主要工作包括：第一，针对由于环境和摄像头的影响，视频可能受到光照不均匀、噪声等外部条件的干扰导致检测性能降低的情况。本文研究了视频图像预处理的方法，以视频帧图像为单位对每一帧进行处理，经过光照补偿、滤波等处理，能够明显提高图片的质量。实验证明经过处理的图像对提高人脸检测精确性有很重要的意义。第二，针对基于视频的人脸检测与跟踪对实时性的要求，对具有复杂背景的视频序列，本文提出首先利用肤色特征提取背景中肤色及类肤色区域作为候选区域的方法。进而利用二维线性子空间PCA特征提取算法对候选区域进行一定程度降维，有效地减小了候选区域的大小。第三，研究了Adaboost算法在人脸检测中的应用，分析实现了Adaboost算法中的弱分类器、强分类器以及级联分类器的训练。为了减小数据开销，本文提出了加大矩形特征移动步长和剔除边缘像素的方法，实现了对Harr-like特征数量的改进和优化。第四，分析对比了均值漂移（Mean shift）和粒子滤波两种经典视频序列跟踪算法。针对该算法不能实时的改变搜索窗口的情况。在Meanshift算法上进行了改进，将Mean shift前一帧结果作为下一帧初始化窗口得到Camshift算法，保留了Mean shift算法的优点克服了其缺点。通过融合肤色特征、PCA特征以及Adaboost分类算法本文设计了一个人脸检测系统，再利用器官梯度特征对检测到的人脸精确定位，将定位参数传递给Camshift实现人脸跟踪。在几个常用人脸库及截取视频上做了大量实验。实验结果表明，本文设计的基于视频序列的动态人脸检测与跟踪算法具有实时性好，检测精确度高，耗时短的优点，而且具有较好的跟踪效果。