用自然语言描述视频的任务被称为视频描述,其研究结合了自然语言处理与计算机视觉领域的关键技术,研究成果推动了跨模态分析技术的发展。近年来,越来越多的研究者从事视频描述方向的研究。但是视频描述是一个复杂的任务,它不仅要识别视频中的不同目标以及它们之间的交互,还要用自然语言描述视频内容。当前研究的热点是基于序列学习的视频描述方法,这类方法首先利用卷积神经网络提取视频的特征,然后再用循环神经网络从视觉特征生成句子描述。本文在基于序列学习的视频描述方法的基础上,进行了以下研究:(1)提出了基于深度视觉特征与语义属性指导的视频描述方法。大多数已有的视频描述方法只使用了视频的视觉信息,而忽视了对于视频描述非常重要的语义信息,因此,该方法在进行视频描述时不仅利用了视频的视觉信息,还利用了视频的语义信息作为指导。首先,该方法使用两种卷积网络分别提取视频单帧和连续帧的特征,并将这些特征求平均得到视频的视觉目标特征和动作特征。然后,从训练集的句子描述中获得三种类型的语义属性,并对每种类型的语义属性分别训练各自单独的语义属性预测器。最后,提出基于语义属性指导的长短时记忆网络,用语义属性指导视频描述生成。本文在MSVD数据集上的进行实验,其结果与主流的方法相比在多个指标上均有提升。(2)提出了结合注意力机制与记忆网络的视频描述方法。为了更充分的捕获视频中的目标与动作信息,该方法将注意力机制与记忆网络结合到基于语义属性指导的长短时记忆网络。首先,该方法提使用注意力机制去选择性地关注视频中最显著的视觉内容,以使模型自动地关注当前时刻视频中最显著的目标和动作。其次,该方法通过加入外部记忆网络提高长短时记忆网络中存储单元的记忆容量,记忆网络通过读取和写入操作与长短时记忆网络的内部状态相互作用。最后,将注意力机制的输出特征与从记忆网络读取的信息输入到基于语义属性指导的长短时记忆网络,用于生成视频描述。本文在MSVD数据集上进行了大量的实验,结果表明我们的方法优于主流的方法。