论文部分内容阅读
肝癌是全球最常见且死亡率高的癌症之一。肝癌的微小肿瘤很难被及时发现是造成死亡率高的最主要原因。目前,磁共振成像（Magnetic Resonance Imaging,MRI）是临床主要的肝癌诊断手段之一,它通过注射造影剂可以明显提高肿瘤诊断的敏感性和特异性。然而,注射造影剂不可避免地存在风险高、毒性大和副作用大等问题。近年来,无造影剂MRI以其扫描时间短、低风险、无有毒金属危害等优势,成为研究的新热点。但在研究中,采用无造影剂扫描会使MRI图像的对比度较低、肿瘤区域边缘模糊,为肝肿瘤的准确诊断过程增加了许多难点。针对这一瓶颈问题,拟通过计算机对无造影剂MRI图像进行肝癌智能诊断,不仅能成为临床医师的辅助工具,也是提高患者生存率以及治愈率的重要方法。本文对基于无造影剂MRI图像的肝癌智能诊断进行了一系列研究。通过对无造影剂MRI图像的分析,借助人工智能技术对肝肿瘤的2D分割方法进行研究;在充分研究多模态无造影剂MRI影像间的互补信息的基础上,探索构建肝肿瘤的3D分割和多指标量化的多任务相关网络;挖掘多模态无造影剂MRI图像间的依赖信息,同时构建小样本数据的增强体系,实现肝部无造影剂MRI图像中肿瘤的自动分类;进一步研究分割和检测任务间的关联关系,构建肝肿瘤分割和检测的联合对抗学习网络。主要研究贡献如下:（1）针对无造影剂MRI图像中肝肿瘤的边缘模糊、与周围正常组织的对比度低、差异性较大和复杂度较高等特点,本文提出一种放射组学特征指导的DUN-GAN（Radiomics-guided DUN-GAN）网络用于肝肿瘤区域的2D分割。本部分的研究内容包括3个方面:i)密度嵌套UNet的分割器提取到肝肿瘤的语义特征和全局指导特征,并利用特征相关性对特征进行合理且高效的融合。ii)鉴别器中引入三相造影剂增强MRI图像（动脉期,门静脉期和延迟期）结合的放射组学特征作为先验知识,以学习到分割器和鉴别器间的映射关系。iii)在放射组学特征对抗思想的指导下,网络获得了准确性较高的无造影剂MRI图像中肝肿瘤的2D分割。本文提出的放射组学指导的先验知识以及多策略融合方式可以提取到无造影剂图像中关键的隐含的造影剂放射组学特征,从而实现低对比度图像中较准确的肝肿瘤分割。（2）针对无造影剂MRI序列图像中肝肿瘤空间解剖结构复杂,多模态无造影剂图像（T1FS+T2FS）间肿瘤表征差异较大,以及同时完成多任务（分割+量化）的复杂性较高等问题,本文提出一种双流相关3D（Two-stream associated 3DNet,TsA-3DNet）异构学习网络,利用多模态的无造影剂MRI来同时进行肝肿瘤的3D分割和多指标量化。本文研究内容主要包括两个方面:i)该网络充分考虑多模态数据的关联性和差异性,提出的多视角融合机制（Multi-view fused,Mv F）利用比例门优化算法提取多模态的互补信息,以进一步融合多通道（T1FS+T2FS）和不同尺度的特征。ii)该网络充分结合多任务间的关联和约束,提出的双向指导机制（Bi-directional guided,Bd G）关联多任务间的互补信息,以进一步实现多任务（分割+量化）的同时优化。本文提出的异构学习网络能够建立多视角特征的融合和多任务双向指导机制,从而较准确地同时实现多模态图像中肝肿瘤的3D分割和全面的多指标量化。（3）针对无造影剂MRI图像样本较少、自动识别复杂性较高、肿瘤特异性较低的问题,本文提出了一种稳定的细节指导的生成对抗（Detail-guided Generative Adversarial Network,Dg-GAN）网络,通过增强数据来改善肝肿瘤分类性能。Dg-GAN中的多尺度感知生成器引入残差块感知上下文信息,加强细节特征提取以合成更加逼真的造影增强图像。本文在合成数据增强的数据集上进行卷积和全局平均池化,并设计细节指导的VGG模型以验证数据增强对肝癌分类性能的影响。生成器的细节特征图被作为指导知识引入分类器,以促进不同类型肝癌的特异性特征提取和改善肿瘤分类性能。本文提出的数据增强方式有效地克服了数据样本少的难题,展示了较好的自动分类性能。（4）针对多模态无造影剂MRI图像间特征差异较大、分割和检测任务间复杂性较高的问题,本文提出联合对抗学习（United adversarial learning framework,UAL）网络,整合多模态无造影剂MRI的互补信息,以联合约束的方式实现肝肿瘤的同时分割和检测。首先,编码器通过引入边缘差异特征图的先验知识,增强三个模态的关键特征提取,同时利用门机制实现特征融合和自适应选择。坐标共享机制使得分割和检测进行联合以实现统一学习,同时将多相放射组学特征与语义特征结合以实现分割和检测的同时对抗学习。本文提出的联合对抗学习网络较充分的提高肝肿瘤分割和检测的性能。综上所述,本文围绕无造影剂MRI图像的肝癌智能诊断的四个问题,从不同的目的进行了相关任务的研究和网络的构建,这项工作具有一定的计算机理论意义和辅助诊断的价值。