Couinaud提出的基于点云的segment-aware深度学习方法，用于重大肝脏切除术的术前规划

《International Journal of Computer Assisted Radiology and Surgery》：Couinaud segment-aware deep learning on point clouds for major liver resection planning

　　**摘要**

**目的**
在这项研究中，我们利用深度学习解决了自动肝脏切除计划的问题，这些手术包括半肝切除术和扩展半肝切除术。受到临床实践的启发，临床实践中通常使用Couinaud肝脏段来描述肿瘤位置并指导手术决策，我们探讨了整合这种解剖信息是否可以提高模型性能和临床相关性。

**方法**
我们提出了一种基于点云的几何深度学习方法，该方法基于改进的RandLA-Net架构来预测肝脏切除区域。该模型在德国美因茨约翰内斯古腾堡大学的70例半肝切除病例（内部数据集）上进行了训练和评估。评估了两种复合损失函数：交叉熵（CE）与交并比（IoU）的组合，以及CE与Dice损失的组合。对于每种损失函数，分别在不同是否包含Couinaud段信息的情况下对模型进行了训练。在来自结直肠肝癌（CRLM）队列的30例半肝切除病例的外部数据集上评估了模型的泛化能力。

**结果**
两种损失函数在评估的数据集上表现出可比的性能，其中CE+IoU始终优于CE+Dice。在内部测试集上，整合Couinaud段信息后，IoU均值从0.787提高到0.804，F1分数从0.864提高到0.870。对15对病例进行的Wilcoxon符号秩检验证实了IoU均值的显著改善（p=0.030），80%的病例表现有所提升。在外部数据集上，当包含Couinaud信息时，IoU均值从0.666提高到0.702，F1分数从0.786提高到0.799。排除五个解剖结构复杂的病例后，对剩余25对病例进行的Wilcoxon符号秩检验显示IoU均值有显著改善（p=0.019），68%的病例表现有所提升。

**结论**
明确整合Couinaud段信息可以提高自动 major 肝切除计划的定量性能和临床相关性，特别是通过更好地保护关键血管结构。

---

**引言**
肝脏切除是原发性肝癌和转移性肝癌的主要治疗选项之一。在原发性肝癌中，肿瘤起源于肝脏本身，如肝细胞癌（HCC）和胆管癌（cholangiocarcinoma）等疾病中所观察到的。相比之下，转移性肝癌是由于恶性细胞从其他原发部位（包括结肠、乳腺或肺等）扩散到肝脏而发生的[2]。在这两种情况下，针对患者的术前规划都至关重要，必须考虑肿瘤范围、血管解剖结构以及保留足够的功能性肝组织[1]。准确进行肝脏切除规划的重要性体现在全球疾病负担上：2021年，全球报道了大约529,000例新的肝癌病例和484,000例相关死亡，这突显了精确和基于临床信息的手术规划的必要性[14]。

在术前规划过程中，Couinaud分割系统被广泛认为是描述肿瘤位置和指导手术决策的标准解剖框架。Couinaud分割根据门静脉、肝静脉和胆管等内部解剖结构将人类肝脏划分为八个功能独立的段[17]。基于这一解剖概念，Brisbane 2000术语将肝脏切除分为三大类：小范围切除、联合或特定切除以及大范围切除[13]。小范围切除涉及移除单个Couinaud段，而联合或特定切除包括两个相邻的段。大范围切除包括半肝切除术，涉及切除右叶（段5至8）或左叶（段2至4），以及扩展半肝切除术。

此外，肝脏切除规划本质上是一项复杂且要求高的任务。主要的临床目标是实现完全肿瘤切除，并保持足够的安全边际，同时保护关键血管结构，确保术后肝脏功能[1]。除了支持手术规划外，自动切除预测框架还可以帮助不直接执行手术的肿瘤学家在推荐手术治疗前进行可行性评估。

从临床角度来看，肿瘤定位和切除策略通常用Couinaud肝脏段来描述，这反映了血管灌注和功能解剖的地域差异。这种实践激发了将Couinaud段信息整合到深度学习模型中的想法，以使预测更符合临床推理。此外，随着虚拟现实和增强现实技术在交互式手术规划和培训中的日益应用，如网格和点云等几何表示形式特别适合沉浸式可视化[5, 6, 16]。

**相关工作**
由于复杂的血管解剖结构和保留足够的功能性肝组织（FLR）的必要性，肝脏肿瘤切除需要精确的术前规划。为了支持手术决策，已经提出了几种基于可视化的方法。Lu等人[8]证明了患者特定的3D打印肝脏模型可以改进对血管的切除规划，而Huber等人[5]和Huettl等人[6]通过将3D打印与虚拟现实结合进一步提高了规划精度。随着医学图像分析的进步，基于深度学习的方法越来越多地应用于自动肝脏切除规划。Kang等人[7]引入了一个完全自动的框架，使用特定于肝脏的损失函数来提高分割性能。Messaoudi等人[9]提出了一种基于 attention 的网络，该网络利用多个解剖分割掩码和距离图为FLR预测提供增强了的临床上下文。

最近，几何深度学习被用来模拟复杂的肝脏解剖结构，超越了传统的基于体素的表现。在之前的工作中[11]，我们展示了使用复合损失函数训练的基于点云的网络可以有效预测肝脏切除体积。对此工作进行补充的是，Chen等人[3]提出了一个半自动规划系统，用于指导由中间肝静脉引导的半肝切除术，使用基于3D网格的切除路径。

还研究了明确整合Couinaud段信息的解剖引导方法。Nú?ez等人[10]表明，结合解剖线索（如病变相对于Couinaud段的位置）的AI辅助规划可以在不牺牲准确性的情况下减少放射学工作量。同样，Xie等人[19]开发了一个级联的3D U-Net框架，用于分割肝脏解剖结构、Couinaud段和肝脏肿瘤，通过切除受肿瘤影响的段来实现自动大范围肝脏切除。

与现有方法不同，现有方法要么依赖于基于体素的分割，要么隐式使用Couinaud信息，我们的工作将Couinaud段信息明确整合到几何深度学习框架中，用于自动大范围肝脏切除规划，旨在提高定量精度和临床相关性。

---

**材料与方法**
方法在内部数据集上进行了训练和评估，并在外部数据集上进行了进一步验证。对于这两个数据集，分析了医学图像数据、网格数据和点云数据。内部数据集包括来自德国美因茨约翰内斯古腾堡大学医学中心的70例（扩展）半肝切除病例，包括肝内胆管癌（62例）、肝细胞癌（4例）和结直肠肝癌（4例），其中39例为右半肝切除术，31例为左半肝切除术。这些数据集来自德国美因茨约翰内斯古腾堡大学医学中心。经验丰富的临床医生使用Fuji Synapse手动分割了原始计算机断层扫描（CT）体积，以勾画血管结构、肿瘤、切除体积和未来的肝脏残留部分（FLR）。这些分割随后被转换为网格表示。这些网格模型通过改编Rakshit等人[11]提出的点云准备流程转换为点云格式。图1中的左图展示了用于网络训练的解剖结构点云表示的一个示例。

**示例数据**
外部数据集包括来自结直肠肝癌（CRLM）队列的30例（扩展）半肝切除病例，用于进一步验证[12]。该数据集包括来自单一机构队列的患者的增强对比度术前CT扫描，这些患者经过病理学确认患有结直肠肝癌并接受了肝脏切除手术。选择的病例进行了半肝切除术，并提供了足够的解剖覆盖范围，要求每个CT体积至少包含75层切片，以便可靠地重建主要血管结构。此外，使用开源框架TotalSegmentator从CT体积中生成了患者特定的Couinaud肝脏分割[18]。TotalSegmentator结合了Tian等人[15]提出的全局和局部上下文U-Net（GLC-U-Net）架构，该架构通过基于attenzione的机制同时捕获切片内特征和三维上下文信息。该模型在43,205张标注的CT切片上进行了训练和评估，肝脏分割的Dice分数达到98.51%，Couinaud段分割的Dice分数达到92.46%。图1中的中间和右图分别展示了同一示例病例的Couinaud肝段（段1至8）的网格和点云表示。之前生成的肝脏点云通过基于GPU加速的符号距离函数（SDF）配准策略准确地与Couinaud分割相关联。这些信息随后被用于模型训练。具体来说，点云中的每个点都被分配了一个从1到8的离散标签，对应其在Couinaud肝脏分割中的解剖位置。这个逐点段标识符作为额外特征被纳入网络，以提供特定区域的解剖上下文。平均而言，单个病例的完整点云准备过程大约需要40秒。

**模型训练**
Rakshit等人[11]之前的工作表明，Hu等人[4]提出的RandLA-Net在使用交叉熵（CE）和交并比（IoU）损失的线性组合进行训练时，在肝脏分割方面取得了良好的性能。受这些发现的启发，我们在本研究中采用RandLA-Net作为基准架构，并评估了两种复合损失公式：CE和IoU的线性组合，以及CE和Dice（F1）损失的线性组合。此外，网络还扩展以包含Form of Couinaud段特征的额外解剖信息。为了评估这种辅助信息的贡献，我们进行了包含和不包含Couinaud特征的实验，评估了它们对内部和外部数据集分割性能的影响。

我们采用了网格搜索策略来确定最佳超参数设置。所得配置（表1）与我们之前的实验结果大体一致，唯一的例外是根据使用的具体数据集调整了输入点的数量。实验在配备Intel Xeon E5-2630 v4 CPU（2.20 GHz）和NVIDIA GeForce GPU（11 GB VRAM）的工作站上进行，使用TensorFlow 1.15和CUDA 10.2以及cuDNN 7。

在训练过程中，70例（内部）数据集被分为50个训练案例、5个验证案例和15个测试案例。在随机分配之前，案例首先按切除类型（右半肝切除术 vs. 左半肝切除术）进行分层，然后根据肿瘤相对于Couinaud段的位置进行二次分层。这确保了所有划分中临床相关解剖变化的平衡表示。

**图2**展示了训练和验证性能曲线。在缺乏Couinaud信息的情况下，CE \(+\) IoU和CE \(+\) Dice损失函数的平均验证IoU得分（用红色三角形标记）分别为82.61%和81.99%。当纳入Couinaud信息后，这些得分显著提高至87.35%和86.32%。图2：该图像的替代文本可能是使用AI生成的。全尺寸图片。

在没有（上排）和有（下排）Couinaud信息的模型训练曲线，分别使用了CE \(+\) IoU（左）和CE \(+\) Dice（右）损失函数。

结果：Mainz数据集
表2总结了在内部（Mainz）测试数据集上的定量结果。总体而言，两种损失函数配置的性能相当。然而，纳入Couinau信息的模型表现出更好的整体性能，如更高的IoU均值、F1分数和FLR所示，这比没有解剖学片段指导的模型有所提升。为了进一步评估不同实验设置下的结果稳健性，我们报告了这些指标的标准差（SD）以及均值，从而捕捉了案例间的变异性。表2：内部（Mainz）数据集的测试结果。全尺寸表格。

对于表现最好的CE \(+\) IoU模型配置，在15个测试案例中有12个（80%）在包含Couinaud片段信息后IoU均值有所提高。在改进的案例中，IoU均值的中位数增加了0.031（范围0.003至0.112），而其余案例则显示了轻微下降，中位数变化为-0.004。此外，对15个配对的IoU均值值进行的Wilcoxon符号秩检验表明有统计学上的显著改进（p=0.030）。

图3展示了来自内部数据集的一个代表性右半肝切除术测试案例。从定性上看，纳入Couinaud片段信息大大减少了误报（FP）预测（用红色点表示），同时真实阳性（TP）预测用绿色表示，从而保留了中段肝静脉，导致了更具临床相关性的切除预测。每个分割模型的IoU均值、F1分数和FLR百分比在图片下方报告（蓝色：IoU均值，橙色：F1分数，橄榄绿色：FLR）。对于这个案例，CE \(+\) IoU模型获得了最佳性能，IoU均值为0.95，F1分数为0.98，FLR为38.61%。图3的替代文本可能是使用AI生成的。全尺寸图片。

内部数据的一个示例性（或定性）测试案例。(a) 切除体积中的肿瘤（深红色不透明）位置和未来的肝脏残留部分（蓝色透明）；(e) 切除体积上的Couinaud片段点云叠加。CE \(+\) IoU（b-c）和CE \(+\) Dice（f-g）分别显示了有无Couinau信息的预测结果。Couinaud片段级别的预测比例用配对条形图显示（d, h；左=无，右=有）。深红色的‘T’标记了对应片段中的肿瘤存在。

结直肠肝转移数据集
表3展示了在外部数据集（结直肠肝转移CRLM）[12]上的定性测试结果。显然，使用Couinaud信息训练的模型比不使用Couinaud信息训练的模型表现更好。此外，使用CE \(+\) IoU损失函数训练的模型比使用CE \(+\) Dice损失函数训练的模型表现略好。表3：外部（CRLM）数据集的测试结果。全尺寸表格。

在30个CRLM案例中有5个案例出现了性能差异，尤其是对于那些在训练数据集中代表性不足的解剖学复杂区域的肿瘤（详见“讨论”部分）。对于这5个具有挑战性的案例，IoU均值的中位数分别为0.459（无Couinaud信息）和0.360（有Couinaud信息）。相比之下，其余案例的IoU均值中位数分别为0.714（无Couinaud信息）和0.766（有Couinaud信息）。排除这些案例后，对剩余25个配对测试案例进行的Wilcoxon符号秩检验显示，当纳入Couinaud片段信息时IoU均值有统计学上的显著改进（p=0.019）。值得注意的是，68%的案例表现有所提升，IoU均值的中位数增加了0.085（最大值：0.330，最小值：0.051）。

图4展示了CRLM数据集的定性评估。每个示例下方的案例标识符提供了解剖学上下文。接下来的两列分别展示了使用CE \(+\) IoU损失函数训练的、无Couinaud信息和有Couinaud信息的模型的分割结果，以及每个案例的相应IoU和F1分数。图4的替代文本可能是使用AI生成的。全尺寸图片。

使用CE \(+\) IoU损失在CRLM数据集上的定性结果。左列显示了解剖学上下文，包括肿瘤（不透明红色）、切除体积（透明棕色）和未来的肝脏残留部分（透明蓝色）。中间两列展示了无Couinaud信息和有Couinaud信息训练的模型的分割结果。右列用配对条形图展示了Couinaud片段级别的预测比例（左=无Couinaud信息，右=有Couinau信息）。

在计算效率方面，所提出的模型每个患者（案例）的推理时间大约需要12秒。Couinaud感知模型在透明棕色区域显著减少了误报预测（红色点），特别是在靠近血管结构的区域。此外，减少了假阴性（FN错误，透明棕色区域中的未占据空间），从而使得切除预测更符合临床可接受的半肝切除边界。一致地，配对条形图显示Couinaud感知模型的TP（绿色）和TN（蓝色）预测比例更高，反映了分割质量的提升。

讨论
从学习角度来看，Couinaud感知模型比非Couinaud模型收敛速度更快。如图2（“模型训练”部分所示），使用Couinaud信息进行训练表现出更快的收敛行为，从第一个评估周期开始，两种损失函数的验证性能都更高。这表明，纳入Couinaud片段特征有助于更有效的学习。此外，如图3和图4所示，Couinau感知模型减少了假阴性和假阳性，并更好地保留了关键血管结构，从而使得预测结果更符合临床实践，增强了其潜在的临床适用性。这可以通过Couinau片段本质上反映了门静脉系统的分支结构来进一步解释，因此编码了功能和手术上相关的解剖信息来实现。在这个意义上，它们为血管结构提供了隐式的替代，可能引导模型做出更符合解剖学和临床意义的切除预测。

观察到，无论是否有Couinaud信息，模型对于位于肝脏中心区域附近的肿瘤或靠近肝脏表面的肿瘤（例如外部数据集CRLM中的五个异常案例）的性能都有所下降。在这些解剖学上复杂的案例中，训练数据集中这些案例的代表性不足。对于这些案例，没有Couinaud信息的IoU均值中位数为0.459，而有Couinaud信息的IoU均值中位数为0.360，而其余案例的IoU均值中位数分别为0.714和0.766。例如，图5第一行的第1和第8片段中的肿瘤，两种模型的预测相似，但Couinaud感知模型更好地保留了中段肝静脉。另一个跨越第3、4、5和8片段的肿瘤（图5第二行）导致模型过度预测了右叶片段，而实际真相对应于左半肝切除。

虽然Couinaud片段的定义是标准化的，但不同临床医生对片段边界的精确划分可能略有差异。在这项研究中，使用成熟的自动化框架生成了特定于患者的Couinaud分割，这已经显著提高了预测性能。然而，通过使用定义手术切除了的同一临床专家提供的Couinaud分割，可能会获得额外的收益。值得注意的是，在极少数极端情况下，特别是当肿瘤占据肝脏的大部分时，TotalSegmentator可能由于包含肿瘤组织而无法准确划分肝实质，导致不可靠的片段预测。因此，这些案例（内部数据集中的2个案例）被排除了分析之外。

与真实情况相比，该模型倾向于保留更多的肝实质，这体现在实验中FLR值的一致性更高，同时仍然确保了足够的肿瘤覆盖范围和临床可接受的安全边际。值得注意的是，Couinaud感知配置比非Couinaud配置更倾向于保留实质，表明纳入解剖学上下文支持了更加保守和可能保留功能的切除策略。这种行为表明，所提出的方法在平衡肿瘤安全性和实质保留方面提供了灵活性，这在临床实践中是一个重要的考虑因素。此外，根据不同的基础设施和外科医生经验，不同临床中心的切除计划策略可能会有所不同。在这种情况下，针对特定小机构的数据集微调所提出的模型可以使其适应当地的外科实践并提高其临床适用性。

由于缺乏直接比较自动半肝切除计划的研究，因此无法与以往的工作进行直接定量比较。将来，在更大、更多样化的多中心数据集上进行更广泛的验证将是有价值的。尽管如此，相对性能可以与现有的处理一般肝脏切除的方法进行比较。Messaoudi等人[9]报告了一种基于图像的深度学习方法，用于一般肝脏切除，实现了0.89的F1分数、0.79的IoU和0.95的精确度。类似地，Rakshit等人[11]提出了一种基于点云的方法用于一般肝脏切除，报告了0.84的F1分数、0.76的IoU和0.86的精确度。相比之下，我们的方法针对的是更具体的临床任务，即半肝切除预测。在内部测试数据集上，我们的Couinaud感知模型实现了0.87的F1分数、0.80的IoU和0.96的精确度；而在外部数据集上，它实现了0.80的F1分数、0.70的IoU和0.91的精确度。这些结果展示了竞争性的性能，并凸显了几何深度学习在肝脏切除规划未来的研究潜力。

结论
在这项工作中，我们研究了自动肝脏切除规划，特别关注主要切除手术，包括（扩展的）半肝切除。我们的结果表明，以患者特定的Couinaud片段信息的形式纳入解剖学上下文，与没有此类信息的基线方法相比，一致提高了模型性能。通过利用基于点云表示的几何深度学习公式，所提出的Couinaud感知模型产生了更具临床意义的预测，特别是通过更好地保留关键血管结构和保持足够的未来肝脏残留部分（FLR），从而更紧密地符合外科决策。此外，所提出的流程显示出实际的计算效率，每个患者大约需要40秒进行点云生成和Couinaud片段的分配（通过TotalSegmentator完成），随后大约需要12秒进行切除区域预测。

所提出的方法在内部数据集上进行了训练和评估，并在公开可用的结直肠肝转移（CRLM）数据集[12]上进行了进一步验证，以展示其在不同数据集上的稳健性。评估了两种复合损失函数：结合IoU的CE和结合Dice的CE，其中CE \(+\) IoU始终显示出略微更好的结果。表现最好的配置，通过Couinaud片段信息和CE \(+\) IoU损失进行训练，在内部测试集上的IoU均值为0.804，F1分数为0.870；而没有Couinau信息的相应模型的IoU均值分别为0.787和0.864。同样，在外部数据集上，纳入Couinau片段后，IoU均值从0.666提高到了0.702，F1分数从0.786提高到了0.799。此外，对测试数据集中的配对IoU均值值进行的Wilcoxon符号秩检验（内部：p=0.030；排除异常案例后的外部：p=0.019）为纳入Couinau片段信息所获得的性能提升提供了统计支持。

在未来的工作中，我们计划通过明确纳入血管树信息来扩展这一概念，从而从间接的解剖学替代物转向直接建模临床关键结构。在这里，可以包括临床导向的指标，如血管接近度，并将方法整合到交互式规划环境中（例如，基于AR/VR的系统），这将允许外科医生直接评估和调整预测的切除区域，以实现临床上有意义的工作流程。

总体而言，这些发现表明，纳入Couinau片段信息提供了有价值的解剖学上下文，使网络能够提高分割精度并产生更具临床意义的肝脏切除预测。