图像分割是计算机视觉领域的基础工作及研究热点,被广泛应用于诸多领域,如自动驾驶、视频监控、人脸处理等,具有重要的理论意义和应用价值。近年来,随着人工智能及深度学习技术的广泛运用,图像分割逐渐从传统分割前景背景的二类图像分割发展为分割复杂语义对象的场景语义解析。过去数年诸多场景语义解析方法被提出。然而,由于场景图像中通常包含数目繁多、种类多样、尺寸不一、语义易混淆的对象,如何准确地识别这些对象并进行分割仍面临着巨大的挑战。研究有效的场景语义解析模型,提升对复杂场景对象的解析精度是计算机视觉和人工智能应用的迫切需求。因此,本文展开了对场景语义解析理论与方法的研究。针对现有场景语义解析面临的问题,本文以提升场景语义解析精度为总体目标,从特征提取和分类器设计两方面对场景语义解析进行了研究。同时,对图像与自然语言结合的多模态场景语义解析问题进行了探讨。具体研究内容及创新点包括以下几个方面:(1)从特征提取角度开展了基于尺度预测的场景语义解析研究,优化单对象尺寸不一而造成的过分割或欠分割问题。首先提出强监督的尺度预测模型,为每个图像区域预测适宜的解析尺度。同时构建尺度标签生成方法自动生成尺度标签,用于强监督训练,从而免除额外人工标注。并且通过对象类别信息提升尺度预测精度。然后,提出基于尺度预测的场景语义解析模型,在预测出的解析尺度上解析各图像区域,从而减少过分割或欠分割。最后,提出基于对象类别的场景语义解析模型,利用对象类别信息进一步修正场景语义解析结果。(2)从特征提取角度开展基于全局与局部关系的场景语义解析研究,优化多对象关系特征,从而解决对象类别识别问题。首先提出上下文模型,构建全局场景与局部对象区域间的共现关系、局部对象区域相互之间的共现关系、以及局部对象区域间的相对位置关系。利用这些关系作为先验信息,加强对象类别的识别。进一步提出场景分类监督信息提升场景先验特征的精度,从而提升场景语义解析性能。(3)从分类器设计角度开展基于类别聚焦模型的场景语义研究,解决外观或语义相似对象间难以区分的问题。设计类别聚焦模型,模拟人的多步识别机制,采用多个分类器逐步聚焦识别这些易混淆的对象。并且提出采用二值分类器减少多个分类器间误差累积。同时,提出一种基于差异的正则化方法,用于优化场景语义解析模型。该正则化方法通过加大各类对象间的概率打分差异,避免因相似对象打分接近而造成的误分类问题。(4)从分类器设计角度开展基于自适应拓扑分类模型的场景语义解析研究,优化多个分类器之间的连接拓扑问题。首先提出密集连接的多分类器,避免了简单地级联或并联多分类器造成的误差累积等缺点。然后提出自适应连接模型,自适应地优化多分类器之间的拓扑,进一步提升场景语义解析性能。(5)开展基于关键词的多模态场景语义解析研究,针对多模态场景语义解析任务中多模态信息提取问题提出解决方案。通过识别语句中的关键词提取有效信息,从而更好地理解语句内容。同时,提出基于关键词的视觉上下文模型,将语句中包含的对象关系映射至图像,准确地从图像中分割出语句描述的对象。(6)开展基于语句重构的多模态场景语义解析研究,针对多模态场景语义解析任务中的多模态信息交互问题进行探讨。提出语句重构模型,通过将信息从文本模态映射至视觉模态,再从视觉模态重构回文本模态的循环重构方式,验证两个模态间信息交互的准确性。进一步提出迭代分割修正模型,通过迭代重构的方式,修正因不准确的信息交互而导致的解析错误。