随着互联网的日益发展,多媒体内容呈现爆发式增长。为了让用户能够在海量多媒体数据中更加迅速、准确地找到他们需求的内容,针对多媒体内容的搜索技术受到越来越广泛的关注。视频-文本的跨模态搜索是多媒体搜索中针对视频和文本这两个模态的一个特定搜索任务。该任务旨在:给予一个文本查询对象搜索出对应的视频,或是给予一个视频查询对象搜索出对应的文本。其任务难点在于对视频和文本两种模态的时序信息的理解,以及如何构建视频和文本之间的跨模态匹配关系。本文从两个角度提出了两种基于深度学习的跨模态视频-文本的搜索方法:1.基于堆叠卷积深度编码网络的跨模态视频-文本搜索。现有的方法忽略了视频和文本数据中的长距离依赖关系,该方法提出了 一种堆叠多尺度扩张卷积模块来捕捉视频和文本数据中的短距离和长距离依赖关系。其中,多尺度扩张卷积通过使用多个不同的核大小和扩张尺寸的卷积来捕捉视频帧之间以及文本单词之间的短距离时序线索。通过堆叠这个卷积块,进一步捕捉时序线索之间的长距离关系。此外,该方法充分利用了强力的语言模型Transformer,通过预训练和微调两个阶段来获得更鲁棒的文本表示。2.基于记忆增强嵌入学习的跨模态视频-文本搜索。现有的方法在训练时只在小批量中寻找局部的负样本而忽略了全局的负样本,也未考虑搜索数据的一个特点:一个视频对应多个文本。针对以上问题,该方法提出使用记忆模型来辅助视频和文本的特征编码,设计了两种记忆单元:(1)跨模态记忆单元,它用来存储当前迭代之前的视频或文本的特征,以用于后续的全局负样本挖掘;(2)文本中心记忆单元,它用来存储同一视频多个文本的中心信息,通过这个中心来在多个文本中进行桥接。本文在MSR-VTT数据集、MSVD数据集、VATEX数据集上进行了大量视频-文本互检实验,来证明本文方法的有效性,搜索性能超过了前沿算法。