深度学习已在计算机视觉和自然语言处理两大领域都获得了巨大的成功。视觉问答（Visual Question Answering,VQA）作为横跨计算机视觉和自然语言处理两大领域的引用,是指给出一个语句问题和一个对应的图片,需要智能系统能够理解图片,在此基础上对问题做出回答。随着数据量的爆发式增长,作为视觉问答其中的一个应用,如何根据问题,在一个图集中找到对应的图片,根据图片再给出回答是一个亟需解决的难题。如用户给定一个问题之后,智能系统首先要理解问题,然后在用户相册中正确找到该问题所对应的图片,在根据这个图片回答问题。现有的方法需要对给定的语句及所有的图片进行特征提取,然后将两个不一样模态表征在一个共有的向量空间,随后进行嵌入融合,通过深度学习模型分析得到正确的结果。由于现有的方法不进行语义及场景理解,直接进行匹配并回答问题,因此其结果会产生偏差,难以捕捉问题的真实含义,在多次回答机会的情况下依然无法给出正确答案。本文针对现有方法的问题,提出基于反馈的语句相似度匹配模型。本文基于第一次回答的反馈,在答案错误的情况下重新分析问题中的场景词,通过分析图片中所有目标是否可能出现在场景中,选取潜在的可能匹配的图片。再通过概率分析给出合适的答案,从而提高整体回答的准确率。本文在Memex QA数据集上和Visual7w数据集与其他方法比较。在Memex QA数据集上,本文的方法精度比现有方法提高20%左右。在Visual7w数据集的实验中本文的方法也优于现有的方法。通过上述努力,可以使VQA在出现场景词的情况下达到更好的回答结果,提高了回答精度。