近十年来随着计算机计算能力的大幅提升以及图像认知技术的迅猛发展,很多基于图像的认知应用得到了学术界和资本界的青睐,最为典型的落地场景有智慧安防、自动驾驶、无人机等。在这些基于图像认知的应用中,图像语义分割、实例分割、全景分割是作为智能体感知外部环境的一个重要手段。在这些图像分割细分方向上,全景分割是最为复杂和具有落地意义的,它要求对图像中的每一个像素点赋予一个唯一的语义类别和实例识别号,本文基于卷积神经网络架构,对图像进行了基于语义划分的全景分割理论研究和实践。为了刻画实例对象的轮廓边界,文中提出了两种实例边缘的数学模型,分别为基于极坐标系下的角度、距离来描述轮廓边界点;基于笛卡尔坐标系下的三次样条曲线来描述实例边界轮廓。基于极坐标系下的轮廓边缘是以实例内部的一个点为原点,进行等间隔旋转角度对边缘采样得到;而基于笛卡尔坐标系下的采样点而言,则是基于等弧长间隔采样得到的。极坐标系中采样点进行依次首位相接即可得到边界轮廓;笛卡尔坐标系中则是对采样点进行三次样条曲线插值得到实例的边界轮廓。为了验证两种实例边界建模的差异,本文分别基于这两种不同的实例轮廓建模方法搭建了全景分割网络,其中包含语义分割和实例分割两路并行子分支,实例分割分支无需预定义锚框,而是直接回归所定义的极坐标系距离向量和三次样条曲线系数,相比于基于锚框的实例分割方法,极大的简化了网络复杂度和降低了模型参数量。全景分割架构中自行定制了U-Net网络作为其骨干网进行特征提取,将U-Net中的降采样和升采样过程中同等尺度的特征图进行拼接,有效地挖掘不同抽象维度下的输入特征。为了将语义分割和实例分割的输出相融合以解决标签冲突问题,文中提出了一种简单有效的融合算法。全景分割架构基于Tensorflow框架开发实现,针对不同的分类或回归任务,设计了不同的损失函数指标,并基于阿里云ECS弹性计算平台对模型进行训练和性能验证。本文实验使用百度Apollo Scape街景数据集中的9600张图像作为训练集和验证集,衡量的指标包括实例分割中的平均精确度、平均召回率以及全景质量(Panoptic Quality),全景质量中包含分割质量和检测识别质量。实验结果表明,在提升极坐标系和笛卡尔坐标系中的实例边界采样粒度,可以显著提升模型的性能指标,但是当采样粒度达到72个点以上时,再进一步提升采样粒度效果并不明显,此时性能受限于网络模型的固有能力和轮廓边界描述的特征。同时文中还对不同的骨干网进行全景质量和模型参数对比,本文提出的定制化的U-Net具有良好的性能且用了最小的参数量,此外还对极坐标系和笛卡尔坐标系中实例轮廓表征的两种方法进行性能横向对比,结果表明基于三次样条曲线的轮廓表示方法使用的参数量比基于极坐标系的多,对于自行车、行人、骑行者等轮廓边界较为复杂的实例对象而言,三次样条曲线具有明显的优势;对于汽车、公交车此类大体积实例对象,两种方法取得的性能相当。