论文部分内容阅读
随着深度学习时代的到来,图像风格迁移迅速成为人工智能研究领域的热门方向之一。风格迁移算法作为计算机科学与艺术领域的有效结合,赋予了计算机艺术再创造的能力。随着图像风格迁移技术在学术界的不断创新迭代,其在工业界的应用也不断得到实践和拓展,在商业价值和艺术创作等方面都展现出了巨大的潜力。目前的风格迁移技术主要是对图像整体进行迁移,而仅针对图像局部区域的目标风格迁移虽然也有一定的应用需求,但是研究相对较少。目标风格迁移作为风格迁移任务的一个子任务,具有与全局风格迁移不同的特点和要求。目标风格迁移可以拆解成目标提取、风格迁移和图像融合三个子任务。目标提取任务需要从图像中提取出目标对象,包括其分类信息,定位信息与空间布局信息。风格迁移任务与全局风格迁移一致。图像融合任务需要将生成的特定风格化图像按照目标对象原来的定位信息嵌入原始图像,并使用图像融合算法对嵌入区域进行处理,使得融合更加平滑和自然。现有的研究都是针对各个领域独立进行的,整合性的研究相对较少。在实现具体的目标风格迁移任务中,需要处理好速度和效果的平衡,在保证最终处理效果符合预期的条件上,提高算法处理的效率。针对目标风格迁移中各个子任务的技术要求,本文实现了基于Mask R-CNN的目标风格迁移算法。本文的主要工作如下:(1)通过对经典的目标检测算法如R-CNN、Fast R-CNN、Faster R-CNN等的回顾,详细解释了选用的Mask R-CNN算法框架的核心原理和算法流程。再通过对Keras和TensorFlow学习框架的简单介绍,讨论了 Mask R-CNN的代码实现及其关键步骤。验证了 Mask R-CNN算法从输入图像中快速、有效地提取出目标对象的类别信息、定位信息以及空间布局像素信息的有效性。(2)针对目标对象的风格迁移任务,本文介绍了利用风格迁移算法将内容图像中的目标对象区域转换成带有特定风格的图像的实现。通过概述图像风格迁移算法的几个关键步骤的基本原理及其算法流程,引入了更高效的快速风格迁移算法。介绍了基于MS COCO数据集生成风格迁移模型并对裁剪后的内容图像进行推断。最后展示实验结果并进行初步分析。(3)针对图像风格融合任务,本文通过分析不同的统计因素对融合效果的不同影响,设计提出了二阶段的图像融合方案。采用初步融合,再进行视觉精调的模型改进融合效果。详细介绍了通过匹配样式统计信息实现具有一定鲁棒性的初步融合,再通过重新设计样式向量传输的标准并修改损失函数的计算方法提高了图像风格重建的质量。最后展示实验结果并进行初步分析。