随着深度学习与神经网络技术逐渐取得突破性进展,计算机视觉与自然语言处理在各自领域取得了显著的成功,其中以卷积神经网络和递归神经网络为代表,在图像识别,图像检测,图像分割,语音识别,语音翻译等相关任务中发挥了重要的作用。而视觉问题系统结合计算机视觉和自然语言处理等技术,实现复杂场景下的智能问答,促进人机交互等人工智能应用的发展,越来越受到研究者的关注。与传统问答系统只接收文字信息导致答案预测失准不同,视觉问答系统提供了一个场景级的视觉信息,除了理解自然语言形式的问题,还结合图像提供的内容来进行预测,从而获得精准的答案。近年来,在诸多采集自真实世界的精准权威数据集如DAQUAR,VQA,COCO-QA等的推动下,踊跃出现多种视觉问答算法,如基于传统机器学习的算法、基于数据库搜索的算法、基于注意力机制的算法等。这些算法没有完全解决视觉问答系统需要达到的高精度和实时性的要求,从而影响了视觉问答系统进一步的发展。因此本文针对性地提出一种综合视觉信息和文本信息的视觉问答系统,通过设计注意力机制融合图像与问题的关联特征、嵌入关系推理网络预测答案,从而显著提升问答精度。本文主要工作如下:(一)提出一种双分支的卷积神经网络架构来提取图像特征信息,且在多层次的理解图像内容前提下,采用注意力融合机制来对图像-问题联合特征进行有效提取,从而通过提升多模态特征表达能力来提升视觉问答系统的答案预测精度。首先对于输入数据中的图像数据,采用Resnet模型和Faster＿RCNN模型作为两个图像特征提取分支分别对图像进行特征提取,得到全局图像特征和局部图像特征;然后,注意力融合机制同时考虑了两个视觉特征提取网络分支之间的相互关系,并由此获取多层次的图像-问题联合特征,该特征中包含与给定问题最相关的视觉特征信息;最后,将这两种注意力机制产生的注意力图进行非线性融合,从而产生图像-问题的联合特征。(二)将关系推理网络引入视觉问答系统中来提升系统对于多模态联合特征的关系推理能力,从而提升答案预测精度。传统视觉问答系统未能利用联合特征中的特征关系信息,导致在预测答案过程中使用遍历特征组合的方式,造成了大量的冗余信息。针对这一点,本文提出基于关系推理网络的视觉问答系统,将关系推理网络作为一种计算关系的特殊神经网络模块嵌入到视觉问答系统中,利用其对于特征之间关系的推理能力来进行特征组合的筛选,从而达到提升精度的目的。(三)将本文提出的模型分别在VQA和COCO-QA两个权威数据集下与现有模型做出了对比,并分别进行多模型对比实验和单模型消融性实验。对于多模型对比实验,在VQA数据集的标准测试分区和验证分区下,本模型的平均预测精度分别提升了1.5%～3.2%,在COCO-QA数据集的测试分区下,本模型的平均预测精度和标准WUPS提升了1.3%～2.6%和1.1%～2.4%;对于单模型消融性实验,在VQA数据集的标准测试分区下,根据消融性实验原理,本模型中创新子模块替换后的平均预测精度下降了1.7%～4.2%,其中替换了关系推理模块后的视觉问答模型相比于本模型精度下降了4.2%。实验结果证明,采用双分支的图像提取网络和注意力融合机制能够深入理解图像内容并产生高效的多模态联合特征信息,对于精度的提升起到一定的促进作用;使用关系推理网络嵌入不仅有效提高了模型预测的精度,而且参数数量保持平均以下水平,从而模型运行的速度不受显著影响。