基于生成对抗网络的图像转换方法研究

来源 :大连理工大学 | 被引量 : 5次 | 上传用户:smuwenwen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像转换在现实生活中有着广泛的应用,也是计算机视觉领域的研究热点之一。它可以理解为改变图像的某些特定方面同时保持了原始图像的基本结构和特征。传统的图像转换方法往往需要大量配对数据来进行模型训练。此外,很多现有的方法在处理两个以上的域转换任务时,缺少可扩展性和鲁棒性。因此,本文在分析了现有的图像转换算法后,提出了新的模型结构,用于实现跨领域图像到图像的转换。近年来,生成对抗网络(Generative Adversarial Networks,GANs)引起了学界的广泛关注,并成为了图像转换任务最主流的技术手段之一。本文受到深度神经网络学习分层特征表示的启发,结合权值共享策略提出了基于GAN的无监督转换网络(UTN-GAN),用来实现无监督的跨领域图像到图像的转换任务。在UTN-GAN中,我们设计了一个自编码重构网络,通过最小化源域图像的重构损失来提取源域图像中的分层表征。同时,还共享UTN-GAN中的两组GAN中编码和解码高层语义信息的网络层的权值,以保证输出图像能够保持输入图像的基本结构和特征。我们在多个图像转换任务上进行了实验,并与多个先进的方法进行了定性和定量的实验分析,实验证明提出的UTN-GAN算法是有效的且具有竞争力的。考虑到现有的很多方法在处理两个以上的域转换任务时,缺少可扩展性和鲁棒性。因此,本文在UTN-GAN的基础上提出了一个可以实现无监督多域图像转换的模型框架UMT-GAN。通过组合具有特定功能的编码器,重构网络,转换网络和判别网络模块,UMT-GAN可以按照目标需求,增减相应的转换网络和判别网络,使得多个领域的图像转换任务能够同时进行,具有很好的可拓展性。我们通过多组实验来验证UMT-GAN的效果,并通过与一些先进的算法进行比较,表明UMT-GAN可以进行稳定的模型训练,并且取得的具有竞争力的图像转换结果。在风格迁移任务中,关键的两点是如何有效地学习到图像的风格信息,以及如何有效地将风格信息融合到图像的语义信息中。本文提出了一个多域图像风格迁移网络,用来实现图像到多种不同艺术风格的转换。我们设计了一个专家风格网络,通过一组双向重构损失,来抽取不同目标域的输入图像中包含各自域独特信息的风格特征编码。同时设计了一个迁移网络,通过自适应实例标准化,将抽取到的风格特征编码与源域图像的语义信息重新组合,生成新的图像,从而实现图像从源域到多个目标域的风格迁移。实验表明模型能够有效地将任意照片的内容与众多艺术品的风格相结合,产生新的图像。
其他文献
弥漫型色素沉着绒毛结节性滑膜炎为骨科疑难病症,江蓉星教授在辨证基础上运用仙方活命饮加减联合金黄散等外敷治疗该病,临床疗效明显。
通过总结生态理论交叉学科研究成果,从生态学角度审视综合交通系统中的内在联系,发现综合交通运输系统中存在类似于有机群体的生态行为.将交通因子与生态因子进行一一比照,视
经济社会的快速发展使得配电网的供电可靠性越来越受到人们的重视,配电网继电保护及配电自动化的配置情况直接关系到配电网的运行安全。我国配电网继电保护研究起步较晚,配电网分支开关及分界开关大部分为负荷型,不具备隔断故障电流的能力,传统配电网保护线路上任意一处故障都造成变电站出线开关跳闸,停电率高,供电可靠性差。配电网保护由于级数多、拓扑结构复杂等原因,截止目前,尚未有简单可靠的保护配置方案使其既能就地隔
本文认为,线性支出系统ELES可以用来衡量相对贫困程度。该方法不仅适合制定全国贫困标准,也适合制定各地区贫困标准。ELES借助一般抽样调查的统计分组数据即可得到具体分析结果
《上海现代职业教育体系建设规划(2015-2030年)》日前公布,这是一个基于国际视野进行理性思考、科学决策的现代职业教育体系建设规划。$$面对未来世界更加激烈的竞争,为提高经济
报纸
针对告成煤矿深部大断面泵房支护难题,建立大断面硐室碹体-锚索耦合支护力学模型,研究载荷作用下碹体弯曲应力分布和锚索耦合位置、预紧力、排距及有效长度对碹体极限承载能
近年来,利用语料库语言学技术和方法对文学作品进行分析越来越受到人们的重视,并以此作为英语教学和学习的一个方法。文章通过语料库检索软件Wordsmith,分析了美国著名作家海明
经正书舍是近代中原地区一座民办藏书楼,由河南省新乡市汲县以李敏修、王锡彤、高幼霞等为首的绅士所创,酝酿于1883年,成立于1899-1901年间,之后发展到了一个相当大的规模,19
面向21世纪中叶的长期低排放发展战略是继国家自主贡献之后,衡量各国长期减排努力的重要文件。文中针对已向《联合国气候变化框架公约》秘书处正式提交长期低排放发展战略的1
本文以镇宁至胜境关高速公路三十标水洞大桥为例对T型粱的预制、T梁的吊装、上部结构的连续进行了分析。