随着互联网的不断发展和终端设备性能的不断提升,数字媒体信息越来越丰富,并呈现模态多样化的特点,主要模态包括文本、图像、视频、音频等。为实现从如此复杂多样的信息中检索有用信息,跨模态检索作为一种可以在不同模态数据之间任意检索的方式,成为了近些年的研究热点。然而,由于跨模态数据存在“异构鸿沟”,当前跨模态检索任务存在跨模态数据语义不平衡、跨模态“相似”和“不相似”性难以度量、跨模态关联关系语义难以提取、跨模态数据标注困难四个关键问题。本文重点针对四个关键问题,研究跨模态检索模型,主要研究工作包括:（1）针对跨模态数据中的语义不平衡性问题,本文提出一种基于生成对抗网络的非对称跨模态迁移学习方法。该方法利用更接近高级语义的文本数据指导图像数据的语义信息提取,并将网络的训练分为两个步骤。首先利用标注的文本数据训练文本映射网络,再使用对抗学习方式训练图像映射网络,并使用文本数据的语义嵌入特征对图像映射网络的训练进行约束,以平衡不同模态数据的语义信息。（2）为了充分利用不同样本之间的“相似”和“不相似”信息,本文提出基于图的多模态语义对齐方法。该方法在基于语义约束的生成对抗网络模型基础上,加入对偶训练机制和三元组语义约束,在减小模态差异的同时让不相关样本之间的距离尽量扩大。该方法首先利用带标签文本训练数据学习一个语义特征提取模型和分类器,再使用两个基于对抗学习的特征映射网络学习针对不同模态的特征映射网络。为了让生成的共同空间特征能有效按语义聚类,该方法定义了一种基于图的三元组约束,使共同空间特征按语义与文本语义特征对齐,并且促使语义相同的元素特征距离更近而语义不相同元素特征距离更远。（3）为了提取跨模态关联关系语义,本文提出一种基于约束图卷积网络的半监督跨模态检索方法。该方法设计了两个子模型,第一个子模型由特征映射网络和分类器构成,采用监督学习的方式使用标注数据学习一个伪共同空间和分类器。第二个子模型使用图卷积网络优化伪共同空间中的特征,使最终生成的共同空间特征按分类器预测的类别进行聚类。此外,该方法利用对抗学习训练图卷积网络,促使图卷积网络所生成的共同空间特征更具模态无关性。（4）为了充分提取模态内和模态间的关联关系语义信息,本文提出一种基于加权图结构语义约束网络的跨模态检索方法。该模型对不同模态数据的预生成特征按照标签信息构图并执行图卷积操作,从而得到带图结构语义信息的模态无关嵌入特征。再利用对偶生成对抗网络拟合不同模态数据在共同空间中的分布,并采用带图结构语义信息的嵌入特征作为约束信息指导最终映射网络的训练,使最终生成的共同空间特征具备模态无关性和语义一致性。（5）为进一步提高半监督跨模态检索的准确率,本文综合利用所提出的跨模态检索模型构建一种基于图结构语义约束的半监督跨模态检索方法。由于该方法集成了生成对抗网络、图卷积网络、半监督训练、基于图的三元组约束,其检索准确率得到了进一步提升,并在少量标注样本的情况下仍能达到较高的检索准确率。由于本文所提出的方法以预生成特征为输入数据,本文提出的方法可以适应多种跨模态情形下的跨模态检索,如文本与图像相互检索、文本与视频相互检索、图像与视频相互检索。为验证本文提出的方法的普适应,本文在三种模态数据（文本、图像、视频）上进行两两相互检索实验,实验结果说明了本文所提出的方法在多种模态情形跨模态检索任务上的有效性。