论文部分内容阅读
图像转换在现实生活中有着广泛的应用,也是计算机视觉领域的研究热点之一。它可以理解为改变图像的某些特定方面同时保持了原始图像的基本结构和特征。传统的图像转换方法往往需要大量配对数据来进行模型训练。此外,很多现有的方法在处理两个以上的域转换任务时,缺少可扩展性和鲁棒性。因此,本文在分析了现有的图像转换算法后,提出了新的模型结构,用于实现跨领域图像到图像的转换。近年来,生成对抗网络(Generative Adversarial Networks,GANs)引起了学界的广泛关注,并成为了图像转换任务最主流的技术手段之一。本文受到深度神经网络学习分层特征表示的启发,结合权值共享策略提出了基于GAN的无监督转换网络(UTN-GAN),用来实现无监督的跨领域图像到图像的转换任务。在UTN-GAN中,我们设计了一个自编码重构网络,通过最小化源域图像的重构损失来提取源域图像中的分层表征。同时,还共享UTN-GAN中的两组GAN中编码和解码高层语义信息的网络层的权值,以保证输出图像能够保持输入图像的基本结构和特征。我们在多个图像转换任务上进行了实验,并与多个先进的方法进行了定性和定量的实验分析,实验证明提出的UTN-GAN算法是有效的且具有竞争力的。考虑到现有的很多方法在处理两个以上的域转换任务时,缺少可扩展性和鲁棒性。因此,本文在UTN-GAN的基础上提出了一个可以实现无监督多域图像转换的模型框架UMT-GAN。通过组合具有特定功能的编码器,重构网络,转换网络和判别网络模块,UMT-GAN可以按照目标需求,增减相应的转换网络和判别网络,使得多个领域的图像转换任务能够同时进行,具有很好的可拓展性。我们通过多组实验来验证UMT-GAN的效果,并通过与一些先进的算法进行比较,表明UMT-GAN可以进行稳定的模型训练,并且取得的具有竞争力的图像转换结果。在风格迁移任务中,关键的两点是如何有效地学习到图像的风格信息,以及如何有效地将风格信息融合到图像的语义信息中。本文提出了一个多域图像风格迁移网络,用来实现图像到多种不同艺术风格的转换。我们设计了一个专家风格网络,通过一组双向重构损失,来抽取不同目标域的输入图像中包含各自域独特信息的风格特征编码。同时设计了一个迁移网络,通过自适应实例标准化,将抽取到的风格特征编码与源域图像的语义信息重新组合,生成新的图像,从而实现图像从源域到多个目标域的风格迁移。实验表明模型能够有效地将任意照片的内容与众多艺术品的风格相结合,产生新的图像。