视频描述是计算机视觉领域的一个研究热点,具有广泛的应用场景,包括视频检索,视频理解等领域。视频描述的定义是对一个视频片段用一个简短的英文句子进行描述。目前对该领域的研究依然存在诸多不足,本文的研究目的是从以下角度进行研究来提升视频描述算法生成句子的准确率。视频是包含不同模态信息的复杂载体,它的主要输入有视觉和音频信息。不同的模态信息能够捕捉到不同维度的特征形成互补。视觉信息涵盖了视频的大部分信息,音频信息能够对视觉信息进行有效增益。当前的主要研究依然聚焦在视觉模态领域,直观的说,将音频信息和视觉信息进行融合,能够提高视频描述生成的准确率。因此,如何高效的对视频包含的视觉信息进行特征编码以及如何有效的对不同模态的信息进行融合,是当前视频描述生成面临的挑战之一。近几年来,以神经网络为核心的深度学习在无数领域中取得了成功实践。具有自主学习能力的深度神经网络成为视频描述生成任务的首要选择。最新的研究实践和结论也证明了其优越性。本文针对视频描述中视觉信息层次模糊和模态融合等问题,对算法的整体框架和局部结构进行了改进。具体内容如下:1.日前基于视觉信息构造视频描述任务的研究忽略了视频结构信息这一层次特性。本文以提升对视觉信息中存在的场景切换信息的识别能力为切入点,提出了基于场景边缘检测编码器的视频描述生成网络。在编码阶段通过网络自适应学习是否到达场景边缘的切换点,能够赋予视觉特征编码更多的层次结构信息。从定性和定量的角度对网络模型的有效性进行了验证,并在两个公开数据集上取得了具有相当竞争力的结果。2.当前对视频描述任务的研究中都忽略了音频这一时序信息对于文本序列生成过程中的注意力机制的影响。本文以提升音频信息在文本注意力机制中的贡献比重为切入点,提出了基于音视频多模态注意力机制的视频描述网络,通过设计音频和视觉信息共同参与决策文本的生成过程,令音频信息能够对视觉信息起到补充作用。从定性和定量的角度分析了模型的有效性,并在公开数据集上取得了较好的结果。3.目前的视频描述研究中在视频信息的特征编码部分,均是针对某一层信息进行编码,忽视了视频包含多层不同粒度信息这一特性。本文以综合利用不同层次不同粒度的特征编码对视频进行表示作为切入点,提出了一种基于多层音视频跨模态注意力的视频描述算法模型。通过分别在音频和视频两端利用多层编码器进行编码,得到视频在不同模态不同层次的特征向量。再通过模型中的多重注意力机制,将来自不同层次的两种模态的共四种特征融合表示,提升了视频特征编码的表达能力。基于本模型的实验结果在公开数据集上各项评测指标上取得了一定的提升效果。