多模态知识表示学习旨在从多模态数据中学习到关于其中数据、信息或知识的低维稠密向量形式的特征表示,作为近年来人工智能研究的热点问题之一,在多模态语义检索、视觉问答（VQA）、多模态情感分析等智能场景中具有重要应用价值。虽然多模态数据能为许多任务提供比单模态数据更多和更有用的特征信息,但如何从多模态数据获得有效的表示学习结果一直是多模态知识表示学习研究的核心问题。本文首先提出了一种基于门控层级融合的多模态知识表示学习模型,该模型能够细粒度地从多个模态的数据中学习关联和互补的信息,并缓解由于数据异构性带来的噪声问题;接着,提出了基于该多模态知识表示学习模型的实体链接方法,该方法能从多种模态数据中抽取指称的消岐特征;然后,构建了一个大规模多模态实体链接数据集对多模态知识表示学习方法进行评估;最后,在多模态实体链接任务的实验中验证所提模型和方法的有效性。本文的主要工作具体包括:1.提出了一种基于门控层级融合的多模态知识表示学习模型GHMF:该模型通过多模态协同注意力机制和层级注意力机制细粒度地抽取各个模态之间的关联信息,消除模态之间的异构性,然后由门控特征融合自适应地评估每个模态特征的重要程度,将它们进行加权融合。相比现有基于以往使用多模态注意力、协同注意力的模型,GHMN构建了各模态间的相似度矩阵,通过该矩阵得出一个模态所有位置和另一个模态所有位置之间的关联;能方便地堆叠至高层来挖掘更高阶的多模态特征表示;通过协同注意力与门控机制,有效地减少了由多模态数据引入的噪声问题。2.提出了一种基于GHMF的多模态实体链接方法ELGH:该模型从多模态数据中挖掘对指称消岐有帮助的特征作为指称的特征表示,然后利用余弦相似度比较指称特征和实体特征,选择特征最相似的实体作为链接结果。实验结果表明,和其它实体链接方法相比,本文提出的方法从多模态数据中提取出更多对消岐有帮助的特征,在多模态实体链接任务的性能优于现有其它方法。3.构建了一个大规模多模态实体链接数据集WikiMNEL:本文从Wikipedia、Wikidata中抽取数据,构建了加入图像等多模态信息的实体链接数据集WikiMNEL,弥补了当下缺乏可供研究者使用的大规模多模态实体链接数据集问题。通过对WikiM-NEL进行深入分析,解释了仅利用文本信息难以解决多模态实体链接任务的原因,并探讨了每个模态数据在任务中起到的作用。