计算机视觉作为新一代人工智能的重要领域,它的蓬勃发展会对国计民生产生重大的积极作用。计算机视觉领域的核心要务是效仿人类视觉系统让计算机理解数字图像或视频中的视觉内容。当下计算机视觉领域中一些视觉认知任务已经取得了长足的进步,诸如图像识别和实例检测等任务。然而孤立地识别和检测实例并不能充分地理解图像中的场景内容,实例与实例之间丰富的关系对理解图像的场景内容也至关重要。因此本文关注于如何探索视觉信号中的关系信息,并以结构化的方式加以表示。具体而言,本文使用了图（Graph）结构来表示关系信息,实施的具体任务为场景图生成（Scene Graph Generation,SGG）,以实现对视觉场景的完备且准确的理解。场景图由节点和边构成,其中节点代表了图像中的实例,具体包含实例的位置和类别;边连接了主体节点与客体节点,代表从主体到客体的视觉关系,具体由关系谓词表示。该图结构也可以分解为一系列从主体到客体的关系三元组,即＜主体,谓词,客体＞,如＜人,骑,马＞。由于当下实例检测模型已经能有效检测场景图中的节点,因此本文关注于如何更好地生成场景图中的边,即关系谓词。综上,本文探索了基于场景理解的视觉关系生成的研究。由于当下基于深度卷积神经网络的图像识别和检测网络已经取得了优良的效果,从这些网络中提取的深度特征可以充分地表征图像中的实例信息。因此提取关系信息的难点在于如何充分利用并补充深度卷积特征,使模型能在各种数据环境下归纳出准确且具体的关系信息。针对该研究目标,本文提炼了视觉关系生成中四个具体的关键问题,即,局部特征上下文缺失、少样本数据知识不足、长尾数据信息量匮乏及相关谓词语义混淆,提出并设计了关系正则化网络、多重结构化知识、平衡性谓词学习策略及语义去偏模块来分别处理上述问题。具体总结如下:（1）如何从局部卷积特征中提炼出有效的全局及关系上下文信息以辅助关系的预测?本文提出了关系正则化网络来捕获上下文信息以辅助场景图生成任务。由于关系的预测不是孤立的,它们极其依赖于视觉的上下文信息,即周围环境信息。而提取于卷积网络的局部特征并不具有此种信息。针对此问题,首先归纳了两种上下文,即关系型上下文和全局上下文。之后,利用图卷积神经网络以及双向长短期记忆网络从实例特征中提炼出这两种上下文信息以辅助场景图生成任务。（2）如何在少量样本的条件下仍能良好地预测关系?本文提出了多重结构化知识网络来弥补少量样本下场景图生成中知识不足的问题。人类能在少量样本的条件下学习到丰富的关系信息,然而当下场景图模型都依赖于大量样本进行学习。为了模拟人类的学习方式,本文首先提出了一个单样本场景图生成任务。之后,为了弥补单样本场景图任务中知识不足的问题,本文从视觉基因组数据集中定义了关系型知识,并从概念网络数据集中定义了常识型知识。为了从多重知识中提取知识特征,本文将这两种知识信息组织为图结构,然后利用图卷积神经网络对多重结构化知识进行编码生成知识特征以辅助单样本场景图生成。（3）如何提升在长尾数据中生成关系的信息量?本文设计了平衡性谓词学习策略来增加生成场景图的信息量。当下场景图模型受困于信息量贫瘠的一般性关系谓词,对具有丰富信息量的谓词预测能力不足。这不仅破坏了当下模型的整体性能同时也阻碍了场景图在下游任务中的应用。本文认为该问题主要是由于训练空间中谓词样本的长尾分布造成的。基于此,本文提出了基于平衡性谓词学习的场景图生成框架,其使用了随机欠采样策略以及歧义消除策略以提升现有场景图模型生成结果的信息量。（4）如何缓解相关性关系谓词的语义混淆问题?本文提出了语义去偏模块以纠正预测结果并使其更加明确具体。由于关系谓词普遍具有关联性,模型很容易混淆有语义重叠的关系谓词。基于此,本文构建了谓词的关系矩阵,并在训练和推理时使用该矩阵以缓解语义混淆问题。具体而言,本文分别使用了基线模型的混淆矩阵和由主客体重叠度构成的二部图来构建谓词的语义关系。之后,将这种谓词关系施加于模型生成的谓词分布以缓解生成场景图语义含糊的问题。最后,本文归纳并总结了上述研究内容,并展望了可能会对视觉关系任务的发展产生重要影响的潜在研究点。