近年来,随着计算机视觉和自然语言处理技术的高速发展,视觉问答（Visual Question Answering,VQA）在仿生机器人、智能教育和视觉障碍辅助等领域发挥着至关重要的角色。作为人工智能领域中典型的多模态任务,视觉问答旨在将视觉、语言和高级推理结合起来,自动回答与图像相关的语言问题。VQA任务是对机器智能的测试,也是通用人工智能的基准,具有巨大的应用价值和前景。本文主要工作如下:（1）传统VQA模型中忽略双模态下语义信息的动态关系和不同视觉区域间丰富空间结构。为此,提出一种面向视觉问答的多模块协同注意模型（Muti-Module Co-Attention Network,MMCAN）,对视觉场景中对象间关系的动态交互和文本内容的上下文表示进行充分理解。首先,通过图注意力机制建模不同类型对象间关系,以学习问题的自适应关系表示;其次,将问题特征和带关系属性的视觉关系通过协同注意编码,加强词嵌入与对应图像区域间的相关依赖性;最后,通过注意力增强模块来提升模型的拟合能力。MMCAN算法使用开放数据集VQA2.0和VQA-CPv2进行实验:VQA2.0测试子集test-dev和test-standard上,关于“总体”、“是/否”、“计数”和“其它”四类问题的准确率分别为68.47%、84.93%、49.57%、58.68%和68.85%、85.28%、49.76%、58.84%;VQA-CPv2上,四类问题的准确率分别为40.36%、42.42%、12.97%和46.67%。实验表明,提出模型在各类问题上的精确度明显优于DA-NTN、Re GAT和ODA-GCN等对比方法,可促进视觉问答准确率的提升。（2）通过进一步分析图像的复杂场景,为捕捉更深层次的关系语义与加强网络的可解释性,提出一种显式融合场景语义与空间关系的场景关系模型（Scenario Relationship Network,SRN）,利用视觉场景间关系及其属性来辅助视觉问答推理。首先,根据图像中检测到的视觉对象关系来构建场景图网络;其次,分别通过自适应问题的图注意力机制编码预定义的场景语义关系和空间对象关系,以学习先验知识下的多模特征表示;最后,将两种关系模型进行线性融合来推理问题答案。SRN算法在数据集VQA2.0进行实验:对于测试子集test-dev,“总体”、“是/否”、“计数”和“其它”四类问题的准确率分别为69.44%、85.69%、49.51%、58.73%;对于test-standard,四类问题的准确率分别为69.92%、86.11%、50.14%、59.57%。结果表明,场景关系模型能在问题引导下进行视觉关系解析,这对结构复杂的自然语言问题更为有效。