论文部分内容阅读
计算机视觉是一门“教”会计算机如何去“看”世界的科学,旨在使用计算机及相关设备对生物视觉进行模拟,进而代替肉眼对数字图像中的目标进行处理、识别、分析和理解。目前,随着计算机硬件及计算机视觉方法的不断发展,以及随着多学科间的深入交叉和融合,科学工作者开始尝试将以图像分割为代表的人工智能和计算机视觉技术运用到材料科学领域,旨在通过图像处理方法定量地分析物体内部的微观结构,解构物体微观表征与宏观性能间的关联关系。由于纯铁多晶粒组织是一种典型的材料微观组织,本文以它作为研究对象,开展相应的研究工作。然而,不同于自然场景图像分割任务,纯铁多晶粒组织图像分割首先是一个具有复杂形状的类别不平衡二值分割任务,需要在二维系列截面上逐个识别并提取每个晶粒,但各晶粒间具有不同的形状特征,却没有明显的纹理表征差别,为算法的设计造成了困难;其次,晶粒组织在空间中呈现三维立体状态,即单个晶粒会在多层截面中存在组织区域,而且由于晶粒的复杂性,各截面间存在晶粒突变、晶粒消失和晶粒新增的现象,如何设计鲁棒的算法识别多层截面间的同一个晶粒进行三维分割或聚合是纯铁多晶粒组织重构的关键;最后,为进一步提高基于监督学习的模型性能,需要大量具有标注的数据训练模型。但由于材料制备过程复杂、标注过程琐碎且耗时,通常仅能获得少样本的标注数据,因此亟需数据增广方法提高模型的泛化性。本文以材料显微图像中的纯铁多晶粒组织图像为研究对象,开展相关研究,主要工作包括:(1)针对二维材料显微图像中具有多种复杂形状的微观结构的特点,本文提出一种基于骨架感知的损失函数加权方法,驱使模型在训练过程中保留目标区域的形状信息,提高了图像分割的准确性。相比经典的加权方法,本文提出的方法具有如下特点:1)自适应性。可根据目标区域的形状自适应地进行加权;2)全面性。本文提出的方法对边界区域和目标区域均进行加权,有效地记录了目标区域的形状信息;3)易用性。本文提出的方法没有超参数,不需要根据任务类型手动调整参数,可方便移植到不同的数据上。通过在5个基线模型上进行测试,本文提出的方法在两个数据集(纯铁多晶粒组织图像和动物神经元图像)的分割任务上,其性能超过了当前经典的9种损失函数。特别地,经过实验对比,本文提出的方法由于驱使模型关注区域的形状信息,分割结果中的合并错误(Merge Error)低于其他经典方法。(2)针对三维晶粒重建或区域聚合时,由于各晶粒复杂交错造成识别精度低的问题,本文提出了一种基于深度学习的区域聚合方法,可识别不同截面的同一晶粒区域,进而在二维图像分割的基础上实现三维分割或聚合,提高了截面图像间目标识别的准确率。经过实验对比,本文提出的方法有效利用了深度学习方法提取的高维特征,其错误率低于经典的最小质心距、最大区域重合面积和最相似图像矩,等基于手工设计特征的方法。并且,本文提出的方法在各向同性和各向异性数据集上均取得一致的提高,说明本文提出的方法可在不经修改的情形下应用于不同数据集。(3)针对用于训练图像分割模型所需的标注数据量匮乏且标注过程琐碎耗时的瓶颈问题。为进一步快捷地提高模型的性能,本文提出一种基于风格迁移的数据增广方法,通过风格迁移融合模拟仿真模型中的晶粒结构信息和真实图像中的纹理信息创建合成图像,以此作为数据增广扩充用于训练图像分割模型的数据集。实验结果表明,本文提出的数据增广策略可为材料显微图像分割任务带来性能增益,该增益效果在小数据集上尤为明显。并且所提出的数据增广策略平均单张图像的合成时间约为真实图像数据制备的1%。而且在仅使用35%的真实图像数据基础上,结合合成图像数据,其性能超过了单一使用100%的真实图像数据训练模型的效果,表明本文方法可节省65%的真实图像数据制备工作量。通过对比实验,本文证明所提出的基于风格迁移的数据增广策略优于传统数据增广方法和基于预训练-微调的迁移学习方法。在此基础上,本文研发了一个基于深度学习的材料显微图像分割软件,为材料科研人员提供一个可视化操作工具,具有图像数据标注、模型推理、分割结果矫正等核心功能,利于材料科研工作者在实际应用中便捷、准确地分析材料显微图像,并且为后续模型改进加速了数据积累的过程。同时,本文针对大尺寸材料图像分割应用提出一种调整版的错切裁剪策略,相对于传统的错切裁剪策略,本文的方法将核心区域裁剪过程与网络结构设计过程相剥离,避免了在网络结构设计中计算核心区域裁剪大小的复杂过程,降低了输入图像尺寸的要求,进而降低深度学习模型在实际应用中对高显存硬件设备的依赖,即在图像分割模型训练完成后,可通过调整超参数方便地运行在具有不同硬件配置的机器上。