所谓视频驱动就是对视频中的人脸进行跟踪,利用人脸的表情信息驱动卡通人脸模型,使其产生一致的动画效果。视频驱动的人脸动画一直是计算机图形学和计算机视觉研究领域中的难点,并成为近年来的研究热点,在视频会议、网络游戏、数字娱乐等诸多方面有着非常广泛的应用。本文重点研究三个方面的内容:人脸特征定位及人脸匹配、视频人脸特征跟踪以及基于MPEG-4的二维卡通人脸动画技术。在人脸特征定位中本文先对ASM进行改进,然后设计一个层次人脸特征编辑工具。并将改进后的ASM与Hausdorff距离相结合提出一种人脸相似度匹配的算法。在视频人脸特征跟踪中,使用ASM对人脸进行定位,根据特征点所在人脸部位具有不同的纹理特征进行分组,提出在不借助任何外部条件(如贴标记点)的情况下对不同组特征点采用不同的跟踪方法。首先,对于纹理变化不大的眉部等一组特征点,采用光流方法进行跟踪,同时对其进行了改进,将通常只参考前一帧图像改为利用初始帧和前一帧的加权和进行预测,提高了光流跟踪的准确性。其次,对于嘴部特征点,通过分析其多样的纹理信息,采用弹性图匹配的方法进行跟踪。该方法中,Gabor变换能够提取特征点周围丰富的频域特征而助于跟踪,但速度慢,无法实时。本文通过光流预测、Jet值估计等方法提高了匹配时的搜索速度以满足实时要求。再次,对于眼皮上的特征点,因眼睛周围有着特殊的边缘纹理特征,可采用二值化方法得到特征点的大致位置以达到跟踪的目的。实验表明,将这三种方法相结合进行人脸特征点的跟踪是有效的。在基于MPEG-4的二维人脸动画技术中,本文将针对于三维人脸设计的MPEG-4人脸动画机制中的FAP和FDP参数进行了修改,使其符合本文的二维卡通人脸动画。这样,既满足了实际需要的同时,又提高了表情动画的合成速度。最后,在以上各项研究的基础上,构建了视频驱动下的卡通人脸动画系统。该系统可完成视频人脸的定位及跟踪,FAP流驱动的卡通人脸动画等功能,具有很强的娱乐色彩。