随着科学技术的飞速发展，人脸识别技术在日常生活中应用得越来越广泛。通常识别的过程是在图像中检测人脸，然后通过某种算法对人脸特征进行提取，之后计算对比相似度，进而达到识别的目的。人脸识别技术依据其同时提取特征的图像数目大体分为两大类：第一类，根据单一幅图像进行判别，称为基于单幅图像的人脸识别；另一类，在多幅图像上进行判别，称为基于图像集的人脸识别。初期人们对人脸识别的研究大都是基于单幅图像进行的。当前大多数人脸识别算法都是基于单幅图像的，而且算法也比较成熟。随着人们对识别率的要求越来越高，一些学者开始致力于基于图像集的人脸识别算法的研究。因图像集包含了多张人脸图像，包含的信息比较全面，具有一些单幅人脸图像所不具备的优势。人脸识别技术在人们日常生活中的应用很多，如公司考勤系统、门禁系统、机场的国境安检系统和一些信息安全保护系统等。这些应用大都是在单幅图像上进行人脸识别，对环境约束的比较苛刻。而且对光照、姿势、遮挡、表情也比较敏感。由于获取图像方式不同，如随机获取的视频、不同时期、不同背景和不同姿势等图像序列，基于单幅图像的识别算法进行识别时，识别率会受到很大影响。而基于图像集的识别算法，在多幅图像的基础上进行建模，包含了图像的更多信息，可以更好的对个体进行表达，同时也能弱化光照、遮挡等对识别结果的不利影响，提高识别率。然而基于图像集的识别方法自身也存在一些缺点，如特征提取不明显，建模会受到影响；仿射包过大，集与集之间易产生重叠，致使识别率降低。本文将旋转不变LBP与高斯多尺度融合的方法用于图像集的建模，LBP算法对人脸的五官特征提取的很突出，并且淡化了不具代表性的其它区域，具有一定的旋转不变性，减小了光照的影响；高斯多尺度空间具有滤波的作用，消除了图片的部分噪音，在不同的尺度空间中有不同的纹理特征，这样可以增强LBP特征，使识别率有所提高。为了验证该算法的识别效果，我们在Honda/UCSD数据库，即本田加利福尼亚大学圣地亚哥分校脸部追踪视频数据库进行了基于图像集的人脸识别实验。采用经典的Viola-Jones人脸检测算法对人脸检测，之后进行灰度、尺度的规格化处理，利用本文中提出的高斯多尺度空间中的旋转不变LBP算法提取图像集特征，再用仿射包模型对每个图像集进行建模，最后选用欧氏距离进行判别。通过多次实验，并与原来未改进的仿射包算法进行比较，证明本文的改进算法识别率有所提高，也具有很好的稳定性。