视觉富文档是指语义结构不仅由文字的语义决定,还与文字布局和视觉特征有着重要关联的一类文档。随着深度学习的发展,光学字符识别（Optical Character Recognition,OCR）技术取得了飞速发展。与此同时,除了读取图片上的文字以外,理解文字背后的含义正成为工业界和学术界探索的课题。视觉信息抽取（Visual Information Extraction,VIE）任务正是一种从视觉富文档中自动化地提取出重要的键值对信息的任务。本文详细介绍了VIE的发展历程,对比和分析了当今主流方法的优点和不足。虽然,现有的方法试图通过融合多模态特征来辅助模型确定实体属性,但却忽略了实体之间的关联性以及多模态特征之间的平衡建模,从而限制了模型的性能。因此,本文围绕VIE研究改进了现有的相关方法,主要研究工作和创新点总结如下:（1）针对现有基于序列标注或是节点分类的VIE方法难以有效区分数字类别或是多模态特征接近的命名实体区分问题,本文提出了一种基于命名实体匹配关联性的VIE方法（Match VIE）。该方法通过引入命名实体关联性评估分支,有效地绕开了独立区分每个命名实体的语义,只关注实体之间的匹配关系。此外,本文额外提出了数字向量（Number to Vector,Num2Vec）方法对位置特征进行编码以加快训练过程的收敛。实验表明,面对数字类别或是多模态特征接近的实体区分问题,本文提出的方法更加鲁棒。（2）针对现有基于文档预训练的VIE方法在视觉端监督任务设计欠缺而导致的不平衡模态交互问题,本文提出了一种基于视觉-语义双向交互的预训练模型（Bi-VLDoc）。Bi-VLDoc方法构建了三个全新的自监督任务,分别为文本-图像位置感知任务、区域性文本预测任务以及双向文本-图像对齐任务,旨在建立一种平衡的视觉-语义特征交互。相比于以往方法直接将输入的多模态特征简单地叠加,Bi-VLDoc方法提出的视觉-语义混合注意力机制实现了自适应权重的模态融合。实验表明,Bi-VLDoc方法可以在预训练阶段学到一种平衡式的模态融合机制,性能表现更加优越,能适配多种文档理解任务而具有较好泛化性。