基于知识库的问答一直是自然语言领域的热门研究方向,由于自然语言处理技术的发展和许多高质量知识库出现,以文本为主要形式的传统知识库自动问答系统已经可以达到较为令人满意的效果,相关成果也被广泛的应用于实际生活中各项智能服务中。近几年随着服务范围的扩大和业务需求的升级,传统的知识库及相关的问答技术已经愈发难以满足实际生活中相关任务的功能需求。从知识形式看,传统的知识库以文本知识信息为主,而目前的问答任务更多的需要结合多模态信息;从知识内容看,传统的知识库主要以静态的名词性概念为主,缺少动作、事件等动态化和序列化的知识信息。新型知识库的构建,新型知识表示以及如何利用其解决新型的问答任务都有待探索。本文的工作以此为出发点,对上述研究问题进行大胆的尝试。本文的主要创新点和贡献可以归纳到以下两个部分:在针对日常事件和动作的问答任务中,得到答案往往需要对动作和事件的序列关系进行捕捉和推理。本文借鉴了针对文本序列处理的深度神经网络模型,提出了一个序列知识表示学习的统一模型,可以获取基于序列上下文信息的序列知识表示。针对多模态序列问题,提出了一个模态融合的序列表示模型。选取RecipeQA数据集中的三个多模态问答任务作为验证任务。本文提出的模型在三个任务中都超过了数据集官方排行榜中的最优结果。最后通过实验证明了该模型可以学习到有效的序列语义表示以支持后续的推理和判断,并且可以有效地融合不同模态的序列信息。从实际应用出发,一些日常服务类智能系统或者机器人经常会需要回答针对过程、动作和步骤等的序列性概念的问题。针对目前缺乏面向人类日常活动的知识库,以及缺乏利用知识库解决非传统文本问答的研究这两个问题。本文以Charades数据集为基础,创新性的构建了一个多模态的日常活动知识库。知识库中包含关于人们日常活动中原子动作和原子动作序列的相关多模态知识。本文还为新知识库构建了相应的的基准测试集,任务形式是基于知识库解决视频序列问答问题。在提出对应的基线模型的过程中,提出了一种基于向量匹配的知识库查找方法,解决了以非文本信息为查询项的知识库匹配问题。最后,通过对比试验,证明了基于知识库回答视频形式问题方法的有效性。