语音驱动的口型动画自动合成对于许多应用都是必不可少的,而传统的面部捕捉方法需要的装置昂贵且使用耗时。本文重点就是通过给定的音频和角色模型,生成匹配音频的口型动画,能够准确地反应整个口型与语音的协同性以及语音中的情感表现。同时追求整个系统可以对于角色模型进行泛化,从而快速地应用于多种角色模型上。我们的框架基于强化学习Actor-Critic网络,我们的Actor模型直接将输入语音序列的各种声学特征和人脸角色动画的3D混合形状模型的面部变形参数作为我们的状态进行输入,并对下一时间步的面部变形参数进行预测。Critic网络对于当前状态下的行为设计奖励函数,并引入ground truth数据作为输入来进行优化,应用时间差分算法,使得生成的口型动画不断地逼近真实状态下的面部变形。我们使用梅尔频率倒谱系数作为音频特征,既可以非常有效地呈现上下文信息,同时又可以反映说话者在整个序列中的情感状态。另外考虑到音频里的情感状态和人脸口型动画中的表情变化,我们采用基于动作单元的特征提取,对于角色全脸的面部动作编码系数进行提取并综合考虑,使得整个角色表情看得更加逼真且匹配音频中的情绪,模型能够学习语音中随时间变化的上下文信息和情感状态的潜在表示。在包含各种情感下的语音的真实视听语料库上的实验结果表明,我们的方法在口型匹配度和时间平滑性上都表现优异。在各种各样的面部动作和情绪状态下对不同演员的各种视听语料库进行的实验表明,我们方法模拟出的口型动画都要更加准确和逼真。由于独立于角色人脸模型,所以通用模型很容易适用于人机交互和动画中的各种任务。