在互联网发达的现今社会,每时每刻都会有大量视频数据上传到移动设备和社交媒体上,视频数据的爆炸性增长已经成为这个时代的重要特征之一。面对如此庞大的视频数据,没有任何人,或者团体,能够完全浏览这些内容。如何处理和理解这些内容成为了亟待解决的问题,因此,视频描述这一任务逐渐吸引了专家学者的注意。在视频描述任务中存在两个主要的挑战:1)为了理解视频的内容,计算机必须可以理解视频中每一帧包含的信息和视频所包含的帧之间的时序关系。视频包含丰富、复杂的信息,比如视频中会出现更多的目标、动作、交互等。此外,视频固有的时序动态特性反映了目标间的交互以及目标位置的演变。因此,让计算机充分理解视频所展示的各种信息是极其重要的一步。2)由计算机生成的句子应该与由人描述的语句保持一致,也就是说,生成的描述语句要同时做到语义正确和描述自然。语义正确是为了和视频内容保持高度一致,这是视频描述任务的最基本要求。描述自然是为了满足人的表述习惯,使得生成的描述语句拥有更好的可读性。我们提出了一种新的基于对抗增强学习的视频描述方法(VIdeo CapTiOning model with adveRsarial reinforcement training policy),简称为 VIC-TOR,借用生成对抗网络能构造与真实数据分布相近的优势,生成语义正确且自然的描述语句。基于简单生成对抗网络的框架,设计生成器、判别器和训练策略。生成器沿用编码器-解码器框架生成描述语句。其中,编码器利用C N N+RN N结构提取视频的抽象特征。解码器充分利用句子的局部和全局信息,生成信息全面的描述语句。除此之外,为了增强生成的语句和原始视频之间的语义相关性,我们进一步将解码器的输出重构成视频特征序列。以这种方式,视觉和文本模态之间的鸿沟可以进一步弥合。判别器的目的是为了判别描述语句究竟是来自合成的数据还是真实标注的数据,以及为生成的描述语句中每一个单词评分。训练方式上,对抗增强策略增强了模型生成结果的流畅度和自然性。论文的主要贡献总结如下:·针对视频字幕任务,提出了一种具有对抗策略的描述生成-鉴别框架。它能够探索更多的信息,并进一步桥接视觉模态和文本模态之间的鸿沟。此外,对抗增强训练策略使得生成的描述在语义上更加正确,在语言上更加自然。·设计了一个由两层堆叠RNN组成的解码器。第一层RNN侧重于局部的单词级语言信息,第二层RNN侧重于全局的序列级语言信息。换句话说,解码器能够对局部和全局句子信息进行建模。·在通用基准数据集(MSVD、MSR-VTT和Charades)上的实验结果表明,该方法在视频描述任务中具有较好的性能,表现优于当前的一些其他视频描述方法。