论文部分内容阅读
连接组学(Connectomics)旨在理解大脑如何工作,是神经科学研究的一个重要方向,其核心工作是刻画神经系统连接方式的完整图谱.随着成像技术的发展,电子显微镜(Electron Microscopy,EM)可以在纳米级分辨率对三维组织成像并生成海量图像数据.自动解译大规模EM数据中的一个核心问题是图像的高精度自动语义分割.例如,细胞内的微观细胞器结构如线粒体的形态和分布异常与神经退行性疾病密切相关.线粒体的空间分布和形态定量作统计分析对连接组和神经科学研究至关重要.本文面向大规模纳米级EM图像分析任务,系统研究了EM图像精准语义分割面临的挑战及其解决方法.EM图像内容复杂、结构丰富,细胞器属形状不规则、分布不均匀的小目标,其灰度、纹理、尺度等变化较大,并且与其它细胞组织和结构的灰度相似.因此,实现高精度分割的关键是,1)如何有效利用图像上下文信息,设计或学习具有高分辨能力的图像特征;2)如何实现一致性结构化标签预测以利用图像内的结构化信息;以及3)如何有效地从数据中学习并利用内蕴几何先验信息.除了模型分割性能,计算和模型复杂度也是计算机辅助生物医学研究中的重要考量.设计轻量级的高效模型可以便于模型部署和应用在更多设备环境中,从而增加模型的应用价值.针对上述问题,本文提出了一系列针对性的解决方法,主要创新点为:1.设计了一类新颖且极具区别性的刻画图像上下文信息的特征——局部图像块模式(Local Patch Pattern,LPP).该特征利用图像较大邻域内关于对象内和对象间交互的上下文信息以消除因局部表观特征和纹理特征所引起的歧义性.2.提出了一种新颖的基于迭代学习策略的层级结构化分割框架,并使用新颖的中值融合策略对较长迭代范围内的历史预测信息进行融合,实现了对空间和时间上下文进行编码以及抑制错误分割信息的目的.迭代过程中,对图像和历史预测概率图同时提取LPP特征,从而在图像层面以及包含多个历史预测信息的标签层面上产生了感受野不断增大且具有层级结构的结构化上下文特征,并采用结构化随机森林以利用图像空间结构信息来实现高精度地结构化预测.3.提出了一个新颖的轻量级层级多视角聚合分割框架.该框架以2D分割模型为基础分类器且能聚合多视角信息实现三维分割,在取得高精度分割的同时,实现了更少的计算开销和内存消耗,便于模型部署和应用在更多设备环境中.4.提出了一种基于中心线几何先验的多任务网络——蜂巢网络.该网络将线粒体中心线作为其内蕴的形状线索以规范化分割,取得了连续性高且假阳性少的分割结果.受益于多任务网络利用包含在多个相关任务中的有益信息提高整体泛化性能等因素,蜂巢网络在较少标注数据下依然具有优秀分割性能.5.提出了新颖的层级多视角聚合卷积模块,通过分解和共享三维图像多视角信息以提高模型整体学习能力.它使用多个2D卷积提取三维图像空间上下文信息,具有参数少、计算复杂度低等优势,是传统3D卷积的有效轻量级替代.结合该模块,蜂巢网络具有轻量级架构,有效解决了目前基于3D卷积网络对三维医学图像分割时受限于需要较大计算开销和显存消耗问题.