生成式模型中基于特征形变的视角和目标姿态编辑的研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:chaoge100
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
生成模型的学习作为计算机视觉领域中的重要研究问题,以理解和拟合真实图像数据分布为目的,以便于生成符合分布的新样本。深度学习以强大的计算能力得以拟合复杂的高维数据分布,其中变分自编码器(Variational Auto-Encoder,VAE)和生成对抗网络(Generative Adversarial Network,GAN)为两种基础模型,以二者为基础衍生出的生成模型可用于实现更为复杂的图像生成。本文以视角或姿态为条件生成符合要求的目标图像,从形变和解混方面入手提高生成质量,降低转换难度。本文研究内容如下:(1)以视角为编辑条件时,在无监督条件下基于VAE和GAN网络框架,本文设计并嵌入条件可形变形变模块,该模块以无空间条件信息作为卷积核卷积图像特征自适应地生成光流辅助网络实现形变。同时提出了解混损失函数,增强特征间的独立性,提高图像质量。在人脸视角数据集和椅子视角数据集上实验验证发现,图像质量和解混程度均得以提升,并且模型可扩展实现连续视角编辑。(2)对于有监督视角编辑,基于VAE以及跨层连接网络Unet,借助迭代思想进行改进,将视角编辑从低分辨率至高分辨率依次进行,改善了随着分辨率增高转换难度增大的问题,有监督视角编辑中的过拟合问题得以缓和。并根据分辨率的大小,设计了适合低分辨率的“软”形变模块和适合高分辨率的“硬”形变模块。在视角数据集上的实验结果表明,该模型在保证生成质量的同时更具有保持原有身份信息的能力。同时该模型可跨数据集实现野生环境下的视角编辑。(3)对于以姿态为条件的姿态编辑任务,在GAN网络框架下,设计了可约束注意力机制模块,保证各个属性独立有效地填充到姿态特征中。采用梯度控制配合模块间结构设计的方式来保证模块间有效的梯度反传。在人体数据集上,相较与现有方法我们的模型可更好地实现了人体的任意姿态编辑和自由换装。
其他文献
肥胖不仅影响正常的生理活动,同时还损伤心理健康与认知功能。维持长期的能量平衡是预防与干预肥胖的关键,而能量平衡的调控主要通过摄食相关肽类作用于中枢神经来实现。胰淀素作为一种重要的摄食相关肽,在调控摄食行为中起重要的作用,由于其受体在大脑类儿茶酚胺神经元中有广泛表达,因此可以调控去甲肾上腺素、多巴胺与五羟色胺的释放。儿茶酚胺调控着情绪、动机、奖赏、记忆等重要心理与认知功能,这些认知功能与摄食行为密切
学位
腹毛类纤毛虫是原生动物纤毛门内特化程度最高的类群,其分布广泛、物种多样性极为丰富,是纤毛虫多样性、分类学研究的热门类群。由于有效的条形码基因研究上的相对滞后,对该类群的种和种内分类学界定仍存在认知不足。本文以3个广义腹毛类纤毛虫复合种,扇形游仆虫(Euplotes vannus)、颗粒尖毛虫(Oxytricha granulifera)和寡毛双眉虫(Diophrys oligothrix)为实验材
行进运动(locomotion)是脊椎动物最基本的一种运动形式,它由中脑的运动中枢发布启动指令,通过分布于脊椎的神经网络,控制脊髓运动神经元周期性兴奋与抑制,支配骨骼肌屈伸,从而使躯体产生运动和位移。在这一过程中,由离子通道所决定的神经元的细胞膜内源特性,以及由脊髓神经网络所决定的神经信号的编码与处理,对行进运动的产生与控制起到至关重要的作用。本论文从离子通道对神经元兴奋性的调控机制,以及脊髓腹根
全球变暖给物种生存带来新的挑战,理解物种适应变暖的策略尤为重要。无脊椎动物可以通过生理、形态、生活史和行为等方面的可塑性或进化反应应对环境变暖。水生生物在气候变暖下逐渐向小型化发展,对小型水生无脊椎动物的热适应研究对预测生物响应未来的变暖环境具有重要意义。复活生态学的方法可以方便、有效地观察物种对环境变化的适应轨迹。实验进化是帮助研究生物是否能适应环境变化的有力工具。本研究以两种中小型浮游动物——
有机导电聚合物因其π共轭体系而具有独特的光电性能,且价格低廉、易加工、色彩丰富等因而具有重要的科学研究价值和广阔的商业应用前景,目前已成为材料学科中一个迅速发展的领域。其中,典型的五元不饱和杂环聚合物,如聚噻吩等因其电导率高,环境稳定性好等优势在太阳能电池、有机场效应晶体管等领域受到了广泛的研究和应用。值得注意的是呋喃作为噻吩的同系物,它具有出色的平面性、溶解性、发光性和生物降解性等优势,大量的研
学位
当今这个时代,伴随着工业化领域正在蓬勃迅速地发展,而光作为人类个体成长发展过程中的一个极其关键重要的组成部分,与其相关联的各种新型材料成为了热点话题,倍受学者及科研工作者的关注。在这些层出不穷的新型材料中,发光材料位居于关键的地位,而新型发光材料领域的研究往往需要发达的技术支撑,与此同时,以其蓬勃迅速的发展态势已经引起学术界学者和工业界商人极大兴趣。聚集诱导发光(AIE)现象的报道为有机发光材料领
东亚季风演化一直是第四纪古气候研究领域的热点问题。赤铁矿和针铁矿对温度和降水的变化有直接的响应,可以作为定量反映东亚夏季风强度变化的替代性指标。漫反射光谱法可以有效地鉴别多种铁氧化物,是目前定量测定赤铁矿和针铁矿的重要方法。此外,光谱特征不仅与矿物含量有关,而且赤铁矿、针铁矿中普遍存在的铝替代现象以及基体效应也会对光谱特征产生影响。中国东部黄土经历了较为强烈的成壤过程,这对古气候信息的解译产生了较
T细胞在抗感染和抗肿瘤免疫中发挥关键作用,是适应性免疫系统的重要组成部分。T细胞的活化、增殖和效应功能受到诸多通路的精密调控,其中就包括核转录因子κB(NF-κB)通路。然而,目前关于NF-κB通路调控T细胞免疫的研究主要集中于高等动物,该通路是否、以及如何参与低等脊椎动物的T细胞免疫仍鲜为人知。鱼类是最早具有T细胞的动物,其T细胞免疫功能和调控机制的探究有助于深入了解适应性免疫的起源和进化,亦可