将超高场表示方法转移到低场磁共振成像的强度引导脑分割中

《Pattern Recognition》：Transferring Ultrahigh-Field Representations for Intensity-Guided Brain Segmentation of Low-Field Magnetic Resonance Imaging

超高清MRI（7T）具有更高的信噪比和对比度，可提升脑分割精度，但受限于成本和设备普及。本文提出SegUHF框架，通过知识蒸馏（KKN）生成7T-like特征，并利用自适应融合模块（AFM）在低场（3T）MRI中融合高低场特征，增强解剖细节识别能力。实验表明该方法在脑组织分割和全脑分割任务中均优于基线，且可适配多种分割模型。

　　

Kwanseok Oh|Jieun Lee|Da-Woon Heo|Dinggang Shen|Heung-Il Suk

韩国大学人工智能系，首尔02841，大韩民国

摘要

超高场（UHF）磁共振成像（MRI），尤其是7T MRI，由于其增强的信噪比和基于磁化率的对比度，能够提供更精细的内部脑结构解剖细节。然而，7T MRI的广泛应用受到其高昂成本和较低可及性的限制，相比低场（LF）MRI而言。本研究提出了一种名为SegUHF的方法，该方法系统地将LF MRI的特征表示与推断出的类似7T的特征表示融合在一起，用于在没有7T MRI的环境中进行脑图像分割任务。具体而言，我们在SegUHF中提出的自适应融合模块利用预训练的网络从LF图像中提取类似7T的特征，然后对其进行细化，以有效地将UHF的指导信息融入LF图像特征中。通过这种聚合和融合得到的强度引导特征，分割模型能够识别出仅依赖LF特征时通常难以识别的细微结构。除了这些优势外，即使使用任意的分割模型，该策略也可以通过调整LF特征的对比度来无缝利用UHF的指导信息。广泛的实验表明，我们的方法在脑组织和全脑分割方面均优于所有基线方法，并且还展示了其在不同模型和任务中的适应性和可扩展性。代码可在以下链接获取：https://github.com/ku-milab/UHF-guided_segmentation

引言

脑图像分割是医学成像中的关键过程，为高级体积分析、诊断和治疗提供了基础。磁共振成像（MRI）被认为是最重要的非侵入性扫描技术之一，能够提供关于内部脑结构的详细信息[1]。从MRI扫描中准确区分脑结构使临床医生能够识别病理区域，从而精确定位肿瘤和其他异常[2]。在这方面，脑图像分割主要分为两类研究：脑组织分割（BTS）[3]、[4]、[5]和全脑分割（WBS）[6]、[7]、[8]。脑组织分割涉及将脑图像划分为其组成的组织类型，通常分为灰质（GM）、白质（WM）和脑脊液（CSF）。相比之下，全脑分割扩展了BTS的范围，包括所有可辨识的脑结构，生成一个全面的脑解剖图。

这两种任务主要使用低场（LF）MR图像进行研究，如1.5T或3T MRI，因为它们在临床中更为普遍且成本效益更高。然而，1.5T/3T图像由于信噪比（SNR）和空间对比度分辨率较低，相比超高场（UHF）MRI扫描仪存在挑战。UHF MR图像，如7T MRI，由于其更高的SNR和图像分辨率，能够更好地显示细微的解剖细节[9]，这对于识别异常特别有益。凭借这些强烈的组织对比度，7T图像甚至可以检测到在3T图像中难以察觉的形态变化，即体素强度的显著差异。因此，使用7T图像不仅能够实现高级的脑组织分割，还有助于提升包括皮质和皮下区域在内的全脑医学图像分析性能[10]、[11]。然而，7T MRI的采集成本显著更高，这使得其在实际临床环境中的使用变得困难。

深度学习（DL）通过学习复杂的结构模式显著推动了医学成像的发展。利用DL方法的力量，研究人员试图利用UHF MRI，尽管其可用性有限，主要通过将3T图像转换为类似7T的特征表示来实现脑图像分割。现有的3T到7T的转换方法主要遵循两种途径：（i）使用类似7T的图像作为指导（见图1(a)）；（ii）使用直接匹配的特征作为指导（见图1(b)）。第一种方法[12]、[13]、[14]旨在将3T图像的外观转换为类似7T图像的外观（即类似7T的图像转换）。这种方法利用了7T图像的优越对比度和细节来提高3T图像的质量；然而，它难以准确模拟复杂的7T特征，且3T图像的固有特征容易发生意外变形或扭曲。第二种方法[15]、[16]侧重于通过直接匹配3T和7T图像来提取层次化特征。通过利用来自配对图像相似性的手工制作或任务依赖的特征，这种方法受益于7T特征所独有的丰富信息。尽管如此，这些特征在UHF表示的鲁棒性和多样性方面可能存在局限性，因为它们偏向于预定义的特征。依赖于3T和7T图像的匹配对显著影响了分割模型训练的有效性。为了解决这些挑战，引入了知识保持网络（KKN）[17]，通过知识蒸馏（KD）[18]利用3T图像估计层次化的类似7T特征，并为任意分割模型提供UHF特征表示，以实现知识转移。这鼓励独立的分割模型在没有7T MRI的情况下利用UHF的指导。虽然他们提出的特征融合方法依赖于两个可学习的参数，在脑组织分割（BTS）中提高了性能，但由于类似7T特征的过度对比度与LF图像的固有结构之间的冲突，这种方法难以充分利用UHF表示。

基于现有的特征引导分割范式，我们引入了SegUHF，这是一个框架，通过新颖的自适应融合策略将UHF知识融入LF MRI分割中。与以往的方法不同，我们的方法以空间信息为基础调整LF特征的强度，使得模型即使在无法使用7T扫描的情况下也能利用UHF级别的解剖线索。据我们所知，这是首次将强度调整后的UHF指导信息整合到LF表示中，以增强脑图像分割的效果。我们方法的核心是自适应融合模块（AFM），它有效地结合了UHF特征表示的丰富对比度与LF图像中的结构信息。AFM不是简单地混合或固定权重，而是学习如何选择性地突出信息丰富的区域，同时抑制不相关的变化。它首先聚合KKN产生的整体类似7T的线索，然后将其适应目标3T图像的结构背景。通过这种方式，AFM提供了与解剖学兼容的指导，使基于LF的分割模型能够在不需要实际7T扫描的情况下受益于UHF级别的细节。

本研究的主要贡献如下：（i）我们提出了SegUHF，一个分割框架，它将AFM集成到任意分割模型中，以在没有7T的情况下有效整合UHF指导。通过调整LF特征的强度，SegUHF在保持结构完整性的同时增强了解剖相关区域的对比度；（ii）我们在SegUHF中引入了一个知识流，该流聚合了从预训练网络转移的UHF特征，然后细化UHF指导，使其专门适用于LF特征，同时不改变LF特征的固有特性；（iii）我们证明了所提出的SegUHF在两个基准数据集上（互联网脑图像分割库（IBSR）用于脑组织分割和多图谱标注挑战（MALC）用于全脑分割）在定量和定性上均提高了分割性能。

方法片段

3T-7T脑MR转换方法

由于7T扫描的可用性有限，基于学习的方法试图通过合成类似7T的图像[12]、[13]、[14]或对齐3T和7T模式之间的潜在特征表示[15]、[16]来利用UHF信息。

具体来说，Bahrami等人[12]提出了一个基于卷积神经网络（CNN）的框架，该框架结合了外观（强度）和解剖（组织标签）线索，将3T输入非线性映射到7T输出。

方法

所提出的SegUHF的主要目标是通过KD在配对的3T-7T数据集上学习UHF特征表示，然后在没有7T图像的情况下提供可吸收的特征级UHF指导，用于分割LF图像（例如3T图像）。在图2中，我们展示了所提出方法的总体框架，该框架包括三个核心组件：教师网络$T$、知识保持网络（KKN）$K$和自适应融合模块（AFM）$F$（即基线模型）。

给定配对的3T-7T数据集{X_p, Y_p}

配对的3T-7T数据集

我们使用了15对来自15名成年志愿者的3T和7T T1加权MR图像。具体来说，该队列包括10名健康个体、2名轻度认知障碍（MCI）患者和3名癫痫患者，平均年龄为30±8岁。所有扫描均使用西门子Magnetom Trio 3T和7T全身MRI扫描仪完成。为了空间对齐，我们使用FMRIB软件库（FSL）包中的线性图像配准工具（FLIRT）对齐了配对的3T和7T图像。

有限的配对3T–7T数据对泛化和鲁棒性的影响

在UHF引导学习中，一个潜在的问题是配对3T–7T数据的可用性有限，这可能会引发关于过拟合和泛化的合理疑问。在本研究中，用于训练教师网络和KKN的配对数据集确实较小，这反映了UHF MRI研究中的一个常见实际限制。尽管存在这一限制，我们的结果提供了令人鼓舞的证据，表明所提出的框架对这种数据限制并不过于敏感。特别是全脑分割（WBS）

结论

在这项研究中，我们提出了SegUHF，这是一种新颖的UHF引导分割框架，它通过利用UHF特征自适应地丰富LF表示。该框架的核心是轻量级的、即插即用的AFM，它可以以解剖学信息为基础调整LF对比度，并能无缝集成到多种分割框架中。通过在BTS和WBS方面的广泛实验，我们证明了SegUHF在多种架构中都能一致地提高性能。

CRediT作者贡献声明

Kwanseok Oh：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，软件，方法论，调查，形式分析，概念化。Jieun Lee：撰写 – 审稿与编辑，可视化，验证，软件，方法论，调查，形式分析。Da-Woon Heo：撰写 – 审稿与编辑，可视化，验证，软件，调查，形式分析。Dinggang Shen：撰写 – 审稿与编辑，验证，数据整理。Heung-Il Suk：撰写 – 审稿

利益冲突声明

作者声明与本研究、作者身份和/或文章的发表没有潜在的利益冲突。

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了韩国政府（MSIT）资助的信息与通信技术规划与评估研究所（IITP）的资助，项目编号为RS-2019-II190079（韩国大学人工智能研究生项目）和RS-2022-II220959（视觉和语言中的因果推断的少样本学习，用于决策制定）。