论文部分内容阅读
由于其实时性、无创成像、操作灵活以及低成本的优点,二维心脏超声已经发展成为心脏评估中最为频繁使用的医学影像模态。对成对心尖观超声图像（心尖二腔观和心尖四腔观）序列中左心室的量化及分割是心脏评估的重要诊断方法。成对心尖观超声图像序列能够提供多视角以及多维度的心脏活动状况。一方面,它可以提供在心脏活动中左心室各维指标的定量估测,包括长轴维度（Long-axis Dimension,LAD）,短轴维度（Short-axis Dimension,SAD）,面积（Area）以及容积（Volume）;另一方面,左心室的分割则对多视角中左心室形状进行准确勾画,以从多个角度观察解剖形态的异常与否。分割与量化分析任务需要临床人员手动放大图像,以确定左心室区域进行勾勒,并进一步确定诸如心尖、二尖瓣平面等位置,用以实现有效测量。但是,由于心脏超声成像所固有的低信噪比,边缘不清晰等不足,导致了临床应用中的分割与量化任务存在主观性强、不可重复、高工作量等问题。因此,对成对心尖观超声图像序列实现左心室全自动的直接量化与分割,是一个亟待解决的问题。该问题的解决,对于左心室功能及形态进行准确高效的临床评估具有十分重要的意义。为此,本文针对心尖二腔观和四腔观超声,研究了左心室直接量化及分割的相关方法。主要研究内容包括通过深度神经网络自动准确地实现左心室直接量化、成对视角左心室序列多维量化、成对视角左心室序列同时分割与量化。主要工作与贡献如下:（1）提出了一种全局-局部神经网络,实现左心室直接量化。利用全局-局部神经网络（Global-Local LV Net,GL-LVNet）,实现对单张心尖四腔观超声图像左心室LAD、SAD、面积以及容积四种类型指标,进行端到端直接量化。GL-LVNet由三个部分组成:全局心超模块（Global Echo Module,GEM）用于整幅图像范围内的左心室定位;左心室采样层（LV Sampler Layer,LV-SL）用于左心室感兴趣区域自动裁剪,并以多分辨率的形式重建传递;局部左心室模块（Local LV Module,LLVM）结合多尺度的空间和结构信息,用于对左心室区域直接回归预测四种类型指标。通过级联的模式,这三种相互关联的任务之间相互约束,实现在整体定位到局部理解的促进与反馈。GL-LVNet有效地消除了心脏超声图像中复杂的其他结构干扰,自动聚焦于目标左心室区域,实现对LAD、SAD、面积以及容积四种类型指标的直接量化。（2）提出了一种成对视角左心室神经网络,实现成对心尖观超声图像序列中左心室多维指标的直接量化。利用成对视角左心室神经网络（Paired-Views LV Network,PVLVNet）,实现对成对心尖观超声图像序列中多视角（心尖二腔观、四腔观以及二者联合视角）、多维度（一维、二维以及三维）的左心室指标端到端同步估测。基于新设计的残差循环网络（Res-circle Net）,对心脏超声图像序列进行了患者特性和动态变化的分析。Res-circle Net通过结合各帧共同的患者级基底以及帧间相互关联的残差,从而嵌入序列整体的特征以及帧间的变化,实现对成对心脏超声图像序列左心室准确并且连续地定位与量化分析。整体上,通过包括左心室定位模块（LV Location Module,LVLM）、左心室裁剪层（LV-Crop Layer,LV-CL）以及左心室指标模块（LV Indices Module,LVIM）这三个组成部分,PV-LVNet实现了成对心尖观超声图像序列中左心室的定位、裁剪以及指标回归。在LVLM中,设计使用各向异性欧式距离（Anisotropic Euclidean Distance,AED）用作定位度量的训练损失。考虑到心尖观超声图像中左心室形状呈现近似子弹头状,AED在不同的方向使用不同的度量尺度,以确保鲁棒并且有效的定位,从而用于连续地指标估测。通过可导的方式,利用LV-CL自动地裁剪出左心室区域,以屏蔽成对视角中多样的其他结构干扰,从而促进后续模块关注于目标区域,并且无阻碍地传递量化反馈。通过设计帧间梯度正则化（Inter-frames Gradient Regularization）用于引导指标预测值的帧间变化,LVIM不仅可以训练学习各指标值,并且还兼顾考虑指标的波动,从而进一步强化序列指标的估测。（3）提出了一种K形神经网络,实现成对心尖观超声图像序列左心室分割与量化的多任务学习。利用K形神经网络（K-shaped Unified Network,K-Net）,同时端到端实现成对心尖二腔观及四腔观超声图像序列中左心室多视角（心尖二腔观、四腔观）分割与多维（LAD及SAD、面积、容积）量化。K-Net由四个要素构成:K形网络结构,通过设计注意力任务连接（Attention Juction）互动地从分割引入信息来联合促成空间注意力图,用以指导量化任务聚焦于左心室相关区域,同时从量化迁移反馈以对分割引入全局约束,从而有效地集成并促进两种异类任务（像素级分类的分割任务和图像级回归的直接量化任务）的学习;分布于K-Net中的Bi-Res LSTM,通过双向递归和short-cut连接,层次化地提取心脏超声图像序列中的时空信息;所设计的信息阀（Information Valve）,通过激活互补信息而抑制冗余信息,以促进视角间有效的信息流;训练中,新设计的演化损失（Evolution Loss）,通过静态约束每帧的目标值,以及进一步地动态约束分割与量化值的帧间演变,从而全面地指导序列数据的学习。