随着知识图谱技术的发展,领域知识图谱的构建逐渐成为研究热点。然而,以往在构建知识图谱时,往往只注重文本中的知识,而忽视了图像、视频等多媒体数据中存在的视觉知识。因此,这些知识图谱在一些可视化问答等方面发挥的作用是有限的。本文将从图像描述文本和图像视觉中获得的实体及语义三元组视为图像的相关语义信息,基于这些语义信息提出了一种多模态知识图谱构建方法,并以与人的行为相关的领域数据为例,获取图像的相关语义信息用于构建多模态知识图谱。本文做了以下研究工作。1)设计了多种信息融合策略,对利用不同信息抽取工具从图像描述文本中抽取的文本语义和关系进行融合。图像描述文本描述了图像的视觉语义信息,利用OpenIE和Reverb两种信息抽取工具分别抽取图像描述文本中的文本实体、关系和文本语义三元组,设计多种策略分别对以上抽取的内容进行融合以获得最佳的融合结果。最后,利用图像描述文本和融合后的文本语义三元组训练词向量模型。2)设计了一种基于三元组拼接和筛选策略生成图像视觉语义三元组。利用已训练的物体识别模型Inception-V4获得图像视觉实体标签,利用已经获得的关系集合作为图像视觉实体之间关系的取值来源,通过本文设计的视觉实体和关系拼接策略生成视觉语义三元组。最后,利用已经训练的词向量模型对获得的视觉语义三元组进行筛选和调整。3)针对不同图像的语义三元组集合和实体集合,分别设计了不同的融合策略用于构建一个轻量级的多模态语义知识图谱。利用已经训练好的词向量模型,设计了一种阈值法用于限制语义三元组的相似度,从而更好的获得两个图像的文本语义三元组集合和视觉语义三元组融合结果。设计了一种基于字符串对比的策略用于选择不同图像共有的文本实体和视觉实体标签,结合以上两种策略共同建立图像之间的关联。此外,设计了一组用于建立图像到文本、图像到图像的关联关系。最后,设计了原型系统用于展示本文的方法和结果。