近年来由于多媒体时代的蓬勃发展,跨模态信息匹配受到广泛关注。作为一项重要的基础研究,它在很多跨模态领域的任务中都起着关键作用,比如跨模态检索问题、图像生成、文本生成、图像或视频问答等等。传统的匹配算法主要从统计分析的角度出发,学者们用典型相关分析、偏最小二乘法等数学算法分析不同模态数据之间的相关联程度。虽然理论上的可解释性比较强,但是这些方法并不能深入理解模态中的语义信息,使得传统的跨模态匹配方法有很大的局限性。最近研究人员发现,与传统数学建模方法相比,深度学习方法具有更多的有效性和延展性。其中,卷积神经网络能够从图片中提取出高水平多尺度的特征图,在图像处理领域体现出优越的性能;循环神经网络及其多种变体能够有效地对序列特征进行学习,深入理解其语义信息。在深度学习的基础上,如何更好地提取模态内容特征表示,以及如何对不同模态的语义特征进行比较,都是跨模态领域亟待解决的关键问题。目前很多算法都从图像区域和单词的角度入手,先计算局部相似度,再合成整体图像和文本的相似度。然而并不是所有的区域或单词对于整体匹配度的计算都同样重要,在语义表达中他们都有不同的重要性程度。为了解决这个问题,本文引入自我注意力机制和交叉注意力机制相结合,前者可以将局部信息与同一模态中的上下文相区分,学习其自我注意权重;后者用不同模态的数据信息互为上下文,以跨模态内容对齐为前提学习其交叉注意权重。另一方面,本文注意到文本信息的词频等统计特征对单词重要性也有很大影响,所以引入词频-逆文档频率方法（Term Frequency-Inverse Document Frequency,TF-IDF）作为文本特征的预处理手段,从统计的角度获取有关单词重要性的先验信息,使得整体模型的性能获得了很大提升。本文的算法在MSCOCO和Flickr30K两个数据集上进行了测试,并与最近的方法进行了定量和定性的比较。实验结果证明了算法的有效性,可以更好地挖掘模态中的重要内容,并和其他模态信息更为准确的匹配。