论文部分内容阅读
随着人们对娱乐和安全等需求的不断升级,视频中3D人脸实时重建的应用场景变得越来越多。这时3D人脸重建结果的稳定性就十万的重要,因为它会直接影响人的视觉观感。而特征点跟踪轨迹的稳定性是影响3D人脸重建稳定性的主要因素,人脸特征点的大幅度“漂移”和局部抖动都使得人脸重建的结果大打折扣。但是,目前的特征点跟踪方法大多针对特征点的全局稳定,只能解决人脸“漂移”的问题,并不能够解决局部特征点抖动的问题,所以人脸特征点轨迹的稳定化是一个有趣且具有实际应用前景的研究方向。除了特征点的轨迹,3D人脸重建的方法是重建结果稳定性的直接影响因素。为了使3D人脸重建的结果更加稳定和平滑,本文分别通过对人脸特征点跟踪过程的稳定化和3D人脸重建过程进行了改进。主要创新点如下:(1)本论文提出了基于多级平滑滤波器的人脸特征点跟踪稳定化方法,用来解决视频中人脸特征点跟踪轨迹不稳定的问题,包括人脸“漂移”和局部抖动的问题。多级平滑滤波器由全局平滑滤波器和局部平滑滤波器构成,这个新的工作流程是第一次在全局和局部的维度上对特征点的防抖动进行了研究。在全局滤波阶段创新地引入了 3D人脸模型,在局部滤波阶段提出了局部特征点抖动质量评估模型以对特征点的平滑融合进行指导。实验结果表明:该稳定性方法能够有效提升特征点轨迹的稳定性以及头部的3D姿态变化轨迹的稳定性。并且,本文提出的多级平滑滤波方法易于实现,可搭配不同特征点检测方法,具有较强的应用价值。(2)本论文提出了针对3D重建过程的3D人脸实时重建稳定化方法。该方法包含了一系列从形状初始化、模型拟合过程到最后的纹理贴合部分的改进。大量的重建结果表明,我们的工作不仅可以有效提高3D人脸模型的稳定度,还对3D模型缺失的纹理部分进行了填充,使得重建后的观感更流畅。