视觉问答（Visual Question answer,VQA）的任务是根据给定图片和关于图片的自然语言问题,机器自动推理并输出答案。视觉问答是一项涉及到图像理解和语言处理两大研究领域的具有挑战性任务。视觉问答模型比较常用的是利用卷积神经网络（CNN）提取图像特征和循环神经网络（RNN）提问题文本特征,然后把这两特征映射到同一向量空间以预测答案。在视觉问答模型中主要需要三个相关技术:图像理解、问题文本理解和基于知识的推理。近年来,视觉问答引起许多研究人员的极大兴趣并有了很大的发展,目前现有的视觉问答模型大多数是靠数据驱动的,通过较大的训练数据集来拟合模型以达到较高的准确率,但模型并不能真正理解图像的内容信息,并且有些问题需要常识推理。为了在视觉问答任务中获得更好的准确率,研究工作者往往是采用深度神经网络构建视觉问答模型,并且也取得很好的效果,但这会导致模型的不透明和推理过程不可解析。我们认为更丰富的文本信息可以提高答案预测的准确率,并且图像描述能够帮助模型理解图像和增加可解析性。为了提取更多的图像的内容信息,我们采用描述生成的方法提取图像的内容文本信息,但提取的描述文本信息并不能直接用作逻辑推理,所以本章提出了一种基于深度搜索遍历的关系提取方法（DeepRel）,将描述的文本信息转换成关系三元组的结构化信息。实验表明,该方法在图像描述文本数据集的关系提取优于ReVerb和OllIE。在VQA数据集中,DeepRel在验证集和测试集的准确率比ReVerb和OllIE高,DeepRel能够处理连词问题和构建多种关系有助于模型的关系推理。目前现有的视觉问答模型大多数是靠数据驱动的,通过较大的训练数据集来拟合模型以达到较高的准确率,但这会导致模型的不透明、推理过程不可解析和有些问题需要常识推理。面对这一问题,本文提出一个关系推理模型,该模型首先是基于深度学习的推理,然后基于关系图相似性匹配对关系进行推理,并且结合基于外部知识的词语相似性的计算,从而增强模型的推理能力。实验表明,该模型对整体视觉问答准确率有提升,并且因为不同的问题类型往往需要不同的背景知识和推理机制,对于有关图像场景或物体的比较具体类型的问题有较好提升作用,如“what sport”,“what animal”,“what are”,“what is”等类型的问题。