论文部分内容阅读
肝癌是常见的致死病因之一,肝脏病灶的早期诊断可以有效降低肝癌死亡率。目前在很多医院,放射科医生会选取螺旋CT多期相增强扫描图像来辅助临床诊断,根据病灶区域在多期相图像中的影像表现和增强模式来确定肝脏病灶的类型。近些年来,将人工智能技术应用于计算机辅助诊断已经成为人们积极探索的领域,而肝脏局部性病灶的自动分类是其中的一个重要问题。现有的肝脏病灶自动分类算法都需要先标注图像中的肝脏病灶区域,再对病灶区域提取特征进行分类,其不足之处是图像标注工作量大,同时也忽略了肝实质的补充信息。为此,本文分别针对弱标注单期相和多期相CT图像研究相应的肝脏病灶分类算法,其中弱标注CT图像,即不含病灶区域标注、只需提供图像中包含的病灶类型标注的CT图像,由此显著减少图像的标注工作量。本文主要工作如下:1)提出了一种基于双重注意力机制的肝脏病灶分类算法针对弱标注单期相CT图像中的肝脏病灶分类问题,本文提出了一种双重注意力的空洞残差分类网络(Dual Attention Dilated Residual Network,DADRN)。网络中的位置注意力模块和通道注意力模块从两个维度为高级语义特征图建立全局依赖关系,通过让相似位置或通道之间互相增益可以自动增强正常肝脏组织和病灶区域的特征差异,进而更有利于最终的病灶类型预测。具体是通过先计算特征图中任意通道/位置之间的余弦相似度进而得到全局相似度矩阵,然后基于全局相似度矩阵动态集成所有位置/通道的特征合成新的语义特征图,最后按照残差连接的方式结合输入原特征图和新合成的特征图。在单期相数据集的实验结果证明,本文设计的双重注意力模块相较于其他注意力模块对空洞残差网络的性能提升明显,可达到86.90%的宏平均分类准确率,且该性能接近当前基于全标注单期相图像的病灶分类算法所达到的性能。2)提出了一种基于多重注意力机制的肝脏病灶分类算法考虑到多期相图像包含更丰富的病灶信息,针对弱标注多期相CT图像中的肝脏病灶分类问题,本文提出了一种多重注意力的二阶段分类网络(MultiAttention Network,MANet)。在第一阶段,通道融合后的三期相图像输入到结合双重注意力机制的空洞残差网络进行分类训练,训练收敛之后,结合梯度加权类激活映射方法该网络可较准确地定位到图像中的病灶区域,进而生成弱监督病灶掩码。在第二阶段,每个期相的图像接受弱监督病灶掩码的指导,通过独立通道输入到共享权重的空洞残差分类网络中,网络中的通道注意力模块和时空注意力模块分别从通道、位置和时序三个维度对多期相图像的特征进行增强,借此充分提取多期相CT图像的特征。在多期相数据集上的实验结果表明,本文提出的方法达到了89.65%的宏平均分类准确率,接近当前基于全标注的多期相病灶分类算法所达到的性能。