在近几年中,深度学习取得了很大的成功,针对不同类型的学习方法,提出了不同的学习方法,包括有监督学习、半监督学习和非监督学习。计算机视觉领域也有了突飞猛进的发展,视频风格转换作为计算机视觉领域的一个分支研究方向,同样进展迅速。视频风格转换源于图像的风格转换,图像风格转换通过预训练好的卷积神经网络来提取自然图像的内容信息,通过Gram矩阵来提取图像的纹理特征。视频风格转换与其类似,目的是使风格化视频在空间结构上与原始视频相似,在纹理信息方面与风格图相似。在视频风格转换领域,最关注的研究方向是风格化视频的去闪烁算法。Ruder等人以迭代的方式,通过加入光流估计,引入时间一致性损失,约束了风格化视频的时间一致性,达到了去闪烁的目的。Huang等人通过前馈神经网络的方式,对视频风格化进行了加速。证明前馈神经网络可以学习视频的时间一致性。但由于在约束相邻风格化视频帧间的时间一致性时,采用的是原始视频的光流进行的约束,这使得训练过程存在误差。因为风格化视频帧在空间结构上发生了扭曲,因此与原始视频评估出的光流并不适配。针对这一弊端,本文采用自编码器的思想,将网络结构分为编码网络和解码网络两部分,编码器负责将原始视频帧转换为风格化视频帧,解码器网络负责将生成的风格化视频帧重构为原始视频帧。本文方法选择在重构视频帧上约束时间一致性,因为重构视频帧在空间结构上与原视频帧基本相似,因此这有效的弥补了误差产生,并且证明了在重构视频帧上约束时间一致性同样可以达到去闪烁的目的,使得风格化视频的视觉效果更好。本文还引入了重构损失,目的是为了使解码网络具有重构性能。此外,在约束风格化视频帧时间一致性方面,以往的方式通过加入蒙版,只采用光流约束风格化视频背景的时间一致性,因为前景目标一直在运动,运动物体的闪烁现象不明显。但蒙版的加入使得训练过程中前景目标与背景的约束条件不同,因此在训练过程中,在前景目标边缘附近处会产生光晕,针对这一弊端,本文在损失函数中新增了梯度保序损失函数,通过提取边缘附近像素不同方向的梯度的序,有效的保证了边缘附近的像素梯度方向与原始视频一致。由于原始视频的边界处不附有光晕,因此约束后的风格化视频在边界处也处理的更加自然,抑制了光晕的产生。该约束条件只约束梯度序而不约束像素梯度值,这样做是因为本文在抑制光晕的同时,还要保证风格纹理信息不被破坏。