场景图生成任务(Scene Graph Generation)将图像中的物体看作节点,两个物体之间的关系视为边,通过物体建模及关系建模来生成图像中所有物体及其关系的结构化表示,即场景图。场景图表示的是图像中物体的交互关系,由形如?person,ride,horse?(“人骑马”)的关系三元组构成,不仅包含物体信息,也包含整个场景的详细描述。相对于目标检测任务(Object Detection)获取的物体信息,场景图包含的语义信息更加丰富,但与图像字幕任务(Image Classification)获取的抽象描述信息相比,它的语义层次更低,内容描述却更加完整。正因如此,场景图作为一种中层语义信息被广泛应用于目标检测、图像字幕、图像检索、文本生成图像和图像段落生成等计算机视觉任务中。针对场景图的生成问题,目前使用深度学习技术来解决的工作居多,主要涉及目标检测、关系谓词分类等子问题。大部分现有工作仅对不同关系三元组之间的上下文信息进行建模,而忽略了同一对物体的不同谓词特征之间的关联性。在本文第三章工作中,我们提出了两阶段模型———谓词特征关联网络(Predicate Feature Association Network),该方法能充分利用多种上下文信息。第一阶段,模型首先进行目标检测,然后提取物体级上下文信息与场景级上下文信息以提升物体分类性能;第二阶段,首先利用多模态特征对齐(Multi-modal Feature Alignment)获取图像区域及关系谓词的对齐上下文信息,然后结合物体级上下文信息输入到循环神经网络中对关系谓词建模,以获取谓词特征关联信息,最后利用注意力机制(Attention Mechanism)获取加权后的谓词特征关联信息,并进行关系谓词分类。本模型在公开数据集Visual Genome数据集上进行了大量实验,并在前K(K=20,50,100)个分数最高的预测关系上计算召回率,实验表明谓词特征关联网络提升了场景图生成任务的性能。在谓词特征关联网络基础之上,本文第四章还探究了以下两方面关于场景图生成的问题:首先是在获取物体级上下文信息阶段,针对视觉特征、类标签特征以及物体空间特征等三种类型特征进行融合的方法研究,具体地,本文探索了基于差异性计算的线性融合技术以及基于稠密多模态融合(Dense Multi-modal Fusion,DMF)技术对场景图生成性能的影响;其次,本文基于DMF的多层级特征融合思想设计了候选物体对筛选网络,该网络在进行关系谓词分类之前对候选物体对进行筛选,在测试阶段大大减少了无意义候选物体对的计算,充分利用了计算资源,并有效缓解了候选物体对关于图像中的物体个数呈平方级增加的问题。