随着人机交互的发展,信息往往同时存在于语言,声音,图像等多个模态当中,如何有效地利用计算机对跨模态信息进行管理和理解已经成为人工智能领域一个热门的研究课题。本文专注于视觉和语言两个模态信息的匹配,即给定文本描述,挖掘与其匹配的图像区域或图像。我们首先按照开闭词集将论文划分为两大模块:第三,四章为闭词集任务;第五章为开词集任务。在现有工作的基础上,第三章提出了层次化奖励函数来处理相关数据集中的标注不完整,样本不均衡等问题;针对第三章随机采样和预训练模型的不足,第四章进一步提出了针对本任务的难负样本挖掘策略,并首次在监督学习的该任务中引进了知识库模块。在基于层次化奖励函数的方法中,我们首先分析了交叉熵损失被直接应用到视觉-语言匹配任务中时会产生的问题;为缓解这些问题,我们提出了一个层次化奖励函数,它动态地为目标,上下文和背景物体生成不同的学习率。为了尽可能的使训练与推理目标一致,我们利用层次化奖励函数来近似地最大化R@K指标作为目标函数,并使用策略梯度来求解该不可导函数。此外,我们改进了三元组损失来进一步提升性能,并利用混淆矩阵实现了由简到难的学习过程。在困难上下文物体挖掘的计算方法中,我们通过经典的视觉-语言匹配网络为每个图像区域评分,并将得分较高的负样本作为难负样本,与正样本一起送入第三阶段网络训练。该网络与评分网络结构相同,但输入为困难视觉样本与包括上下文短语在内的所有短语。此外,为了使得模型先验知识包含的物体类别不再局限于视觉特征提取模块的预训练模型中的类别,我们首次在监督学习的视觉-语言匹配任务中引入了知识库模块,并以文本相似度为桥梁,为每一个图像区域加权来过滤掉不类别匹配模块。在基于互联网的弱监督的开词集(可以在输入的文字中使用任意单词)计算方法中,为了将模型未学习过的单词转化为可计算的向量,我们利用互联网来挖掘这些单词的视觉特征表达,并利用挖掘高质量图像区域来提高框架性能。我们在针对句子-图像的视觉-语言匹配任务中验证了本文算法的有效性。为了进一步证明本文算法的实用价值,我们收集网络中真实的游记数据并提出了数据集TVN25,并在该数据集上进行了“游记配图”任务。本章算法无需人工标注(弱监督),具有高拓展性,有利于视觉-语言匹配任务的大规模商业化应用。