【摘 要】
：
近年来,随着图像迁移领域的发展,人脸表情迁移在人脸伪造、人脸表情数据库生成,人脸编辑等领域有着较为广泛的应用。现有的人脸表情迁移网络进行表情迁移时往往存在以下三个问题:第一,人脸表情迁移网络大多基于生成对抗网络,生成对抗网络中存在的不稳定问题导致人脸迁移图像质量不高;第二,现有人脸表情迁移网络对于面部细节重建能力不足,导致迁移图像产生局部模糊,逼真度差;第三,传统人脸表情迁移网络捕捉不到人脸图像中
论文部分内容阅读
近年来,随着图像迁移领域的发展,人脸表情迁移在人脸伪造、人脸表情数据库生成,人脸编辑等领域有着较为广泛的应用。现有的人脸表情迁移网络进行表情迁移时往往存在以下三个问题:第一,人脸表情迁移网络大多基于生成对抗网络,生成对抗网络中存在的不稳定问题导致人脸迁移图像质量不高;第二,现有人脸表情迁移网络对于面部细节重建能力不足,导致迁移图像产生局部模糊,逼真度差;第三,传统人脸表情迁移网络捕捉不到人脸图像中重要的结构信息与几何关系,由此导致迁移网络学习不到细节。针对上述问题,本文从网络规范化方式,损失形式,网络结构等几个方面对现有人脸表情迁移网络进行改进,旨在稳定迁移网络训练,减少人脸高频细节丢失,提升表情迁移的质量。针对现有人脸表情迁移网络因缺乏稳定性而导致生成图像失真的问题,设计了一种基于谱规范化的人脸表情迁移网络。首先利用集成回归树算法计算人脸关键点,构造用于引导表情迁移的人脸关键点图像;然后设计了人脸表情迁移网络与人脸表情迁移网络损失函数,对U-net网络进行改进并利用改进网络构造人脸迁移生成器;最后在马尔科夫判别器网络中引入谱规范化。由于引入谱规范化的网络服从利普希茨条件,所以稳定了网络训练,并改善了迁移图像失真的问题。在Radboud数据集上的实验表明:使用谱规范化可将SSIM由0.7649提升至0.7900,PSNR由19.2301dB提升至19.5268dB。主观的观察实验也显示在迁移网络中嵌入谱规范化可以有效抑制人脸图像中模糊与失真。针对生成器重建面部细节能力不足的问题,提出了一种基于掩膜的人脸表情迁移网络。首先对人脸关键点图像进行形态学处理,构造了人脸掩膜数据集;然后设计了条件掩膜迁移网络,网络以人脸掩膜图像作为额外的条件输入,辅助人脸迁移过程;最后改进原有人脸迁移损失函数,设计了掩膜损失来指导人脸面部细节的重建。由于掩膜损失在人脸五官区域的权重更大,所以提升了网络对面部细节的重建能力。在Radboud数据集上的实验表明,提出的基于掩膜的表情迁移网络可将SSIM由0.7649提升至0.7932,PSNR由19.2301dB提升至19.6556dB。人脸局部评价指标Face-SSIM由0.9946提升至0.9963,Face-PSNR由36.3474dB提升至38.2814dB。主观的观察实验显示出,基于掩膜的方法使迁移图像增加了更多的面部细节。针对网络对人脸图像结构信息与几何关系建模不足所导致的图像迁移质量不高的问题,提出了一种基于多尺度池化的自注意力人脸表情迁移算法。首先设计多尺度池化模块,提取中间特征层的多个尺度的信息;然后在类U-net生成器的中间特征层嵌入多尺度池化模块和自注意力模块。由于网络结合了多尺度特征提取与注意力机制,网络可以捕捉到图像中多个尺度的结构信息,进而提升了网络迁移质量。在Radboud数据集上的实验表明,该方法可将SSIM由0.7649提升至0.7955,PSNR由19.2301dB提升至19.6248dB。主观的观察实验显示出,该方法可以捕捉面部皱纹等面部结构化信息并提升迁移图像的整体质量。
其他文献
近年来我国在农业生产中的经济投入越来越多,其中粮食生产占总体投入的比重最大,但是粮食的产出量并没有得到明显的改善,而影响粮食产量的重要原因之一是农作物虫害。随着农业信息化技术的快速发展,在农作物害虫的治理上需要进行更为智能的处理,而不是进行大面积喷洒农药,应该严格控制农药剂量实现精准喷洒来治理作物害虫,确保农药喷洒的高效性,全面实现精准智能化农业。本文以在自然背景下拍摄的6种主要的农作物害虫作为研
随着信息传播渠道的便利化与多样化,消费者在进行购买决策前往往会对不同的信息进行权衡对比。以往探究消费者的对比决策多采用源于认知心理学领域的结构匹配模型,认为消费者在信息对比过程中,更加依赖可以直接进行比较的匹配属性信息。但是随着对结构匹配模型的完善,有研究证明在特定的情境或条件下,消费者也会增加对非匹配属性信息的依赖。因此,本文从不同含义的金钱启动出发,探究了金钱线索作为影响情境和认知的重要因素,
三维人脸重建和自由视点视频分别在影视、游戏、动画和体育赛事等领域有着广阔的应用前景,高效地生成高质量的人脸三维模型和自由视点视频是其大规模落地应用的关键。传统的高精度三维人脸重建和自由视点视频生成方法主要面临以下挑战:1)对硬件设备的配置及数量要求高,成本高昂;2)生成流程复杂且生成精度依赖每一步的精确结果;3)生成过程十分耗时。为了应对上述挑战,本文采用了先进的深度学习方法,旨在提高三维人脸重建
在设立登记之前,公司法人实体尚未成立,不具备法人资格。但是在公司设立过程中,必然有相关的为设立公司而需的活动,例如行政审批手续的办理、租赁或购买房屋作为公司住所、接受发起人或股东的出资等公司设立相关并且是每个公司设立都必不可少的行为。因此,对于公司设立阶段进行民事活动所涉及的复杂的法律关系,设立中公司相关理论应运而生。我国法律中并未明确设立中公司的主体地位,但是《民法总则》第七十五条及《公司法》司
停止侵害从请求权角度上而言系停止侵害请求权,同时,我国立法上也从民事责任形式的角度规定了停止侵害的责任形式。然而,无论是请求权亦或者是民事责任形式,二者本质上均是为实现对原权的救济,均可统一于停止侵害制度框架之下。我国在理论上既承继了大陆法系停止侵害请求权理论,更是在立法模式上规定了停止侵害的责任形式。当前,在知识产权司法实务中,停止侵害责任作为民事责任形式的一种,在具体适用上的规定较为空泛,难以
为实现煤矿井下主动、全面、可靠的感知,本文将信息物理系统应用在煤矿井下,构建了煤矿信息物理系统体系架构,并从煤矿井下人环物感知方法、感知数据处理方法、感知系统的构建等几个方面对其感知层进行了研究。针对传统煤矿井下人员定位算法定位精度低且消耗的锚节点较多的缺点,本文提出了一种基于RSSI的迭代加权质心定位算法。该算法将RSSI测距算法与迭代质心算法与相结合,首先设置阈值来判断节点类型,之后在迭代过程
《朗读者》作为近年来我国最成功的综艺节目之一,以兼具文学性和娱乐性的节目内容,在受众群体中获得了广泛的关注和较高的口碑。对《朗读者》的内容生产进行深入探究,能够为
农业生物技术的发展历经传统农业时期的成形阶段、初步发展阶段到现代农业生物技术的腾飞时期,生物技术在农业生产中具有越来越重要的作用。传统农业时期,生物技术的应用始终以自然规律为客观指导,遵循人与自然和谐的生态伦理观,通过人工栽培与选择培育出更适于自然环境的作物。随着农业生产实践活动的不断深入,科学技术的快速发展,现代农业开始依赖技术、机械以及大量的资源消耗,人类由依附、顺从自然转变为对自然的控制和驾
随着我国经济与世界的接轨,政府对控制环境污染的力度越来越大,而火电厂是制造空气中的粉尘污染、氮氧化物、二氧化碳等污染物质的重要来源,因此燃煤火电厂对锅炉风量测量提出更高的要求。本文研究的AX公司火电风量设备属于工业品,对于传统的消费品市场营销与工业品的市场营销完全不同,它们各自市场营销的客户群有所不同,传统消费品的对象很多,而对于工业品的服务客户则相对更加固定。随着国内生产技术水平不断改进,火电风
高熵合金由于其独特的合金设计理念,具有较高的强度、硬度、韧性以及较好的耐磨损性能。热喷涂技术是表面工程领域内赋予材料表面新功能最有效的技术之一,将等离子喷涂技术与高熵合金材料结合,研究其微观组织与性能之间的关联,这对高熵合金涂层的制备技术、合金组织及性能研究具有很高的研究价值,并且对推进高摘合金在工业领域应用具有重要的指导意义。本文采用等离子喷涂技术制备FeCoNiCr系高熵合金涂层作为研究对象,