凌云时刻 · 技术

导读：我们正在步入深度人口老龄化的社会，而癌症、心脑血管等慢性病的发病率也在逐年上涨，并且发病年龄逐渐年轻化。医疗资源的需求不断上涨，对应的却是日渐不足的资源供给，其中，影像科最早显出疲态。据调查，影像资料逐年以40%的速度增长，但是影像科医生增速仅为4.1%，因为医生数量不足、人工阅片效率偏低、基层医疗能力不足等原因，催生了医学影像辅助诊断的技术应用场景。本篇论文探讨了如何用新的路径来攻克医学影像的重点深水区：高精度心脏冠脉血管识别。

作者 | 杨晗, 甄行践, 迟颖, 张磊, 华先胜

来源 | 凌云时刻（微信号：linuxpk）

* 点击“阅读原文”获取论文全文 *

本文简要介绍我们在CVPR 2020上的一篇oral论文：CPR-GCN: Conditional Partial-Residual Graph Convolutional Network in Automated Anatomical Labeling of Coronary Arteries。

文中我们提出了一种基于图卷积网络的模型（CPR-GCN）用来自动化的识别心脏冠脉血管树中的各类血管。我们将3D影像特征融入到该问题中，作为一个条件，配合位置特征一起做到高精度血管识别。

1. 简介

根据2019年统计的数据，每1000人中医生的数量，中国是1.79人，全球排在第90位，而据世界卫生组织估计，每千人中只有不到2.3名卫生工作者不足以满足初级卫生保健需求。列举两个具体的例子，我国儿科医生6万多人，缺口达到20万左右，我国麻醉科医生约7.5万人，缺口达到33万人。医护比例、床护比例、医患比例，我国均处于严重失调的状态，而医患比短期内很难彻底解决，因此如何利用好现有的医疗资源，让医生从重复性的工作中解放出来，提高医生的工作效率，则是我们信息技术从业者需要思考的问题。

心血管疾病无论在全球还是在中国素来都有着“头号杀手”的称号，CT心脏造影技术（CTA）作为一种无创的检查手段得到了广泛的应用。如何借助AI技术和计算机快速精确的分析3D CTA影像，从而加速临床医生的诊断效率，是一件非常有价值的工作。而在医学影像分析的过程中，给人体组织内各个单位贴正确的标签，是计算机辅助诊断（CAD）系统不可或缺的功能。 

下图是血管树的两个示例，直观上可以发现左边的血管树更加完整，右边的血管分支较少，而且同一类血管的走势变化可能非常大。样本之间巨大的差异性，包括血管数量和生长走势，是该问题主要的难点。心脏冠脉血管分支命名的具体工作就是将从3D CTA影像中提取出来的血管树做一一对应的命名，再配合上血管上病灶的检测和识别模型就能端到端的生成诊断报告，如右冠中段有中度混合斑块。

以前的相关工作基本可以分为两类：传统基于配准的方法、基于深度学习的方法。

传统的方法一般都是先通过配准技术确定冠脉血管树的四个主干：LM、LCX、LAD、RCA，然后通过能量模型等方法确定剩余分支的名字。这类方法无法充分利用上大数据的优势，且严重依赖于主干，对于支干的识别精度有限。

基于深度学习的方法则是将血管树组合成为一个拓扑结构，然后利用双向LSTM模型按照根节点->叶子节点的顺序提取特征最终做预测，而每个节点的特征则是从血管树的骨架，也就是中心线计算出的位置特征，如坐标、角度等。这类方法也没有摆脱支干对于主干的依赖性，从而限制了模型的性能。

另一方面，对于以上两类方法，都只使用到了血管树的位置信息（中心线），然而中心线无法表示血管的尺寸、形状、以及与背景的结合关系。直观上这些特征对于该问题应该是有帮助的，而且3D CTA影像刚好包含这些特征。

图网络在结构化数据的处理中表现非常好，而血管分支命名这个任务天然与图结构契合，每个血管段可以理解为图的顶点，血管段间的连接关系则是图的边。综合上述对该问题的分析，我们提出了一种基于图卷积模型和3D影像特征的血管分支命名算法。

2. 方法

Figure 2 描述了CPR-GCN模型的框架，绿色框图中的Partial-Residual GCN是整个模型的backbone，由多个图卷积层组合而成，最终backbone的输出特征通过全连接层预测最终的名字。

模型的输入包含两部分：位置特征与影像特征。其中位置特征直接通过血管中心线中计算，包含：每段血管的坐标、起始位置的切向量、起点到终点的方向以及起点在中点的方向等。影像特征则由一个混合模型提取得到，先沿着血管路径截取一系列的3D立方块，使用3D CNN模型提取图像特征，然后再通过Bi-LSTM整合这些序列化特征，具体的操作方法如Figure 3所示。

以上内容描述了方法的整体流程，以及每个图节点输入特征的计算方式，接下来分别对血管树建图的规则，建立Partial-Residual GCN模型，以及理论上的表达方式进行展开描述。虽然常见的血管分类标准为13类或者18类，但是在实际的建模过程中，一旦遇见分叉我们就会生成新的顶点以及对应的连接关系。例如Figure 4只包含四类血管，红色为RCA，黄色为AM、蓝色和绿色分别为R-PDA和R-PLB，由于AM的出现将RCA分成了两段，所以就出现了Figure 4右边的图结构，图中可能存在多个顶点一起表示同一类血管的情况。

传统图卷积的运算方式为：

其中AA为邻接矩阵，第一层的输入为   H0=X。而Residual Gated GCN的运算方式则为：

如果我们把上述公式看成是关于   的连续函数，进而可以得到以下的常微分方程：

而在我们的设定中，输入包含两部分，也就是位置特征   和作为条件的影像特征   ，其中   是关于   的函数，这样我们就有关于   和   的偏微分方程：

上述公式的第二个等式是基于我们将   当作条件，也就是固定值，所以我们就可以使用可训练的   来逼近微分方程：

需要指出的是在这个问题中，位置特征是主要的信息，所以我们简单的把影像特征当作是一个附加的条件，在未来的工作中我们会尝试把影像特征也当作连续的函数处理。为了方便理解，Alg. 1中汇总了整个算法的数据计算流程。

3. 实验

在实验过程中，整个算法的backbone部分和影像特征提取Hybrid Model部分是端到端训练的，因此在实际的推理阶段，我们可以做到端到端的预测。我们在一个包含511个患者数据的大数据集上做实验，并采用了交叉验证的方式来测试整个数据集。由于前文已经提到已有的工作主要分为两大类，因此我们将提出的方法与这两类方法中最好的结果（SOTA）做比较。从Table 3首先可以看出我们的方法在meanRecall，meanPrecision和meanF1 score三项指标上都取得了最好的结果，而且比SOTA方法要高出很多。这里不仅使用各类血管的Metrics，还考虑所有类别上的均值主要是因为类别之间的严重不均衡性。另外还可以发现无论是传统的方法、已有的深度学习的方法还是我们的方法，在血管树的两个起源RCA、LM上都表现很好，但是在二级分支如LAD、LCX等和三级分支如D、OM、S等类别上已有方法精度下降明显，而我们的方法CPR-GCN在各个类别上都表现不错。

考虑到我们的方法中包含多个模块，为了验证各个模块的有效性，对最终结果的影响，我们设计了详细的ablation study。首先Table 5记录了3D影像特征、残差结构和图的有向性对于最终结果的影响。可以发现3D影像特征能够对各类别平均指标带来大约2.5%的提升，而残差结构也对结果有1%的贡献，而有向图和无向图对结果的影响很小。

然后Figure 6显示了在我们这个问题中，图卷积层数量选择3就已经足够了，这是因为我们血管树的图结构相对比较简单，绝大部分情况下只到三级结构，四级结构较少。

前文提到基于树结构的Bi-LSTM的方法对拓扑结构有依赖性，可能会导致模型在主干缺失时，精度收到比较大的影响。因此我们还设计了一个比较有意思的实验，我们随机的将数据集中20%的主干也就是LM和RCA删除掉，并删除与之直接相连的支干，构建了一个人为模拟的数据集（Synthetic "Data Attack" Dataset）。然后直接用原始数据训练好的模型做测试，测试结果如Table 4所示，可以发现我们的方法对于主干缺失的情况，精度影响更小，从另一方面也验证了之前的一些观点，证明我们的方法更加的鲁棒。而且在未来的工作中我们可以考虑使用这类Synthetic "Data Attack"的数据做data augmentation，理论上应该会进一步提升模型的泛化能力。

4. 总结

本文从心脏冠脉树分支命名这个问题入手，提出了一种基于图卷积网络和3D影像结合的方法来解决该类问题。从实验的结果看，该方法实现了快速精确的端到端预测，这对于实际的临床应用非常重要。另外对于医学影像分析这个领域，需要做命名的任务有非常多，例如肝脏血管、脑血管、肺血管等等，该方法的提出可以解决这一大类的问题，从而让医生的诊断更加便捷快速。

END

往期精彩文章回顾

长按扫描二维码关注凌云时刻

每日收获前沿技术与科技洞见