论文部分内容阅读
图像语义分割是计算机视觉领域的一个重要的分支,在卫星图像分割、医学图像诊断、无人驾驶等方面都有着重要的应用。在全卷积网络之后,语义分割领域提出了越来越多的深度学习算法。当前,语义分割算法的关注点主要有两个方面:一是在分割精度上,通过相关算法提升语义分割的准确率。二是在分割的效率上,采用轻量化网络来满足实时性的需求。本文致力于提高语义分割的精度,针对现有语义分割编解码方法中语义信息不平衡的问题,以及语义分割中图像整体的空间相关性利用不充分的问题,分别提出了一种强调不同语义层级特征重要性的特征融合网络和一种利用循环神经网络构造的非局部特征的注意力网络。
特征融合网络主要包含了三个模块:语义提升模块、注意力模块、稠密解码模块。语义提升模块针对基础网络每一个尺度的输出,构建了一种基于可变形卷积的丰富语义信息的策略。该模块可以有效的克服浅层特征由于感受野小全局信息少的缺点,同时不会增加过多的计算量。注意力模块在构建的过程中,充分融合高层语义特征和浅层语义特征,构建出融合特征的注意力权重,利用该权重对通道进行加权,丰富特征的全局信息,使网络能够自动对高层语义特征和低层语义特征进行取舍。稠密解码模块在解码模块的基础上,增加了稠密链接,使不同语义级别的输出相对于网络的整体输出具有不同的重要性,该模块可以增加高语义级别的特征对输出的贡献,同时保留了低语义级别特征提供的空间细节信息。实验使用多块NVIDIATeslaV100显卡,分别在PASCALVOC2012,Cityscapes,ADE20K数据集上进行了相关实验,在三个数据集上分别达到了81.9%、80.0%、43.76%的分割精度,实验证明了该特征融合方式和相应模块的有效性。
非局部特征注意力网络将基础网络输出的特征分成不同的数据块,分别对应循环神经网络每个时序的输入。然后将不同的时序输出组合起来构成注意力特征,该特征通过与输入特征融合,使输出特征的每个位置都包含丰富的全局信息,从而达到对输出特征进行语义增强的目的。本文在实验过程中对不同的特征分割方式进行了验证,在Cityscapes数据集上进行了精度和速度的记录,通过实验验证了该机制能够在保持和卷积神经网络速度相近的基础上,提高语义分割的准确率。
特征融合网络主要包含了三个模块:语义提升模块、注意力模块、稠密解码模块。语义提升模块针对基础网络每一个尺度的输出,构建了一种基于可变形卷积的丰富语义信息的策略。该模块可以有效的克服浅层特征由于感受野小全局信息少的缺点,同时不会增加过多的计算量。注意力模块在构建的过程中,充分融合高层语义特征和浅层语义特征,构建出融合特征的注意力权重,利用该权重对通道进行加权,丰富特征的全局信息,使网络能够自动对高层语义特征和低层语义特征进行取舍。稠密解码模块在解码模块的基础上,增加了稠密链接,使不同语义级别的输出相对于网络的整体输出具有不同的重要性,该模块可以增加高语义级别的特征对输出的贡献,同时保留了低语义级别特征提供的空间细节信息。实验使用多块NVIDIATeslaV100显卡,分别在PASCALVOC2012,Cityscapes,ADE20K数据集上进行了相关实验,在三个数据集上分别达到了81.9%、80.0%、43.76%的分割精度,实验证明了该特征融合方式和相应模块的有效性。
非局部特征注意力网络将基础网络输出的特征分成不同的数据块,分别对应循环神经网络每个时序的输入。然后将不同的时序输出组合起来构成注意力特征,该特征通过与输入特征融合,使输出特征的每个位置都包含丰富的全局信息,从而达到对输出特征进行语义增强的目的。本文在实验过程中对不同的特征分割方式进行了验证,在Cityscapes数据集上进行了精度和速度的记录,通过实验验证了该机制能够在保持和卷积神经网络速度相近的基础上,提高语义分割的准确率。