论文部分内容阅读
随着近十多年来各种电子设备计算能力的快速发展,尤其是基于通用图形处理器的并行计算技术的快速发展,机器学习领域获得了快速的进步。随着基于卷积神经网络的深度学习方法的出现,.传统的基于数学模型的机器学习算法在很多应用领域都被基于统计学模型的神经网络算法所超越,尤其是2016年以来,基于生成对抗网络的图像处理方法,在传统的图像识别,图像增强和图像分割等领域之外,还实现了基于先验知识的图像合成,但图像合成过程中仍存在算法结果不容易收敛,计算量大,优化速度慢,图像劣化等问题。针对人脸合成图像,已有的图像合成算法其优化目标与评价方法更多的关注于合成图像的质量与细节还原度,而对于人像本身的身份信息保持与目标图像与源图像的身份特征一致性等方面,仍需进一步研究和解决。本文主要研究了基于生成对抗网络的人脸图像合成算法,将合成过程分成了3个阶段,首先是图像中目标主体的分割,其次是人脸图像的合成,最后是图像的超分辨和画质增强,实现了人脸图像生成算法的识别,分离,合成和画质改善的全过程。针对目前图像合成及人脸合成研究中存在的问题,本文主要解决了人脸图像的主体分割及合成高质量的保留身份特征信息的图像的问题,主要工作内容和创新点包括:1、基于颜色统计信息的高斯混合模型分类算法,设计了一种快速图像分割算法,该算法通过逐层二分法一次性的将图像分割为基于颜色分布的目标区域,同时由分割区域得到相应的目标轮廓。该算法不同于传统方法的先由轮廓得到连续的边界,再得到分割区域的做法,而是直接基于颜色统计信息和像素分布的形态学特征进行目标区域的划分,减少了边缘分析的计算时间,且对目标区域进行分割的同时即可得到相应的区域边界,具备很好的鲁棒性。2、从包含人脸的任意图像中截取脸部区域,经过背景虚化、缺失部分补全等步骤,基于生成对抗网络进行标准人像的合成,合成后的图像具有特征点对齐后的人脸位置,且脸部及肩部、上半身等部分都具有统一的分割与合成效果。该方法处理得到的包含人脸主要特征信息的半身图像,可以实现人脸图像的标准化,同时最大限度的保留原图像中人脸的身份特征信息。该算法可以作为人脸识别后的处理步骤,处理后的人脸图像相比原图像具有更一致的图像模式和对齐后的人脸特征区域,同时该算法也可以作为人脸数据的前处理步骤,有效改善现有人脸识别与分割算法的效果。3、最后本文提出了一种针对人脸图像进行优化的超分辨算法,相比于现有的图像超分辨算法,该算法在图像的超分辨合成过程中,在关注合成图像的质量和更加细致自然细节的同时,更加关注得到清晰的人脸图像以及与原图一致的人脸身份信息。算法通过引入生成对抗网络和残差网络,实现了上述目标,可以实现图像的4倍甚至8倍的放大,将模糊的图像合成为具有较高清晰度和丰富人脸信息的高分辨率图像,同时算法具有很好的适应性和鲁棒性,对于不同数据库中的人脸图像样本都具有很好的合成效果。该算法采用了一种端到端的灵活的层叠式结构,可以适应不同的算法调整目标和图像合成要求。4、本文在人脸合成图像的对比过程中,提出了使用FID(Fr6chet Inception Distance)代替以往的 PSNR(Peak Signal-to-Noise Ratio)和 SSIM(structural sim-ilarity index)参数作为人脸图像合成以及超分辨算法的评价依据,因为FID值能够更加准确的表达图像对于人脸信息的保留情况,同时通过全局特征信息的统计得到图像整体的合成效果与原图像的对比。PSNR和SSIM则作为图像局部细节特征的评价标准更适用于评价图像本身的清晰度,细节质量等局部信息。通过三者的结合,可以更好的评价合成人脸图像的清晰度以及合成质量,同时评价合成后的图像与输入图像相比,其中的人物身份特征是否能够得到更好的保留。