《TRENDS IN FOOD SCIENCE & TECHNOLOGY》:Diagnostically Faithful fMRI–dMRI Synthesis Using Disease-Informed Diffusion Priors
编辑推荐:
提出模式感知的扩散合成框架PDS,通过解剖学先验整合疾病语义模式,解决fMRI/dMRI模态差异与病理信息缺失问题,在OASIS-3、ADNI等数据集上实现最高诊断准确率77.35%,显著优于基线方法。
Xiongri Shen | Jiaqi Wang | Yi Zhong | Zhenxi Song | Leilei Zhao | Ahmed M. Anter | Yichen Wei | Lingyan Liang | Demao Deng | Baiying Lei | Shuqiang Wang | Zhiguo Zhang
哈尔滨工业大学(深圳)计算机科学与技术系,中国深圳,518055
摘要
功能性磁共振成像(fMRI)和扩散磁共振成像(dMRI)对于研究阿尔茨海默病至关重要,但它们经常存在数据缺失的问题。现有的生成模型无法捕捉fMRI和dMRI之间的基本信号差异,也没有结合与疾病相关的解剖结构,导致诊断结果不够准确。我们提出了一个基于模式的扩散合成(PDS)框架,该框架将解剖图谱中的结构-功能耦合先验整合到双模态3D扩散模型中,实现了语义上连贯的双向合成。组织感知的投影网络和微结构细化模块进一步提高了解剖结构的准确性。在OASIS-3、ADNI和内部队列上的实验表明,PDS的PSNR/SSIM性能达到了行业领先水平:fMRI为29.83 dB/0.908,dMRI为30.00 dB/0.776。更重要的是,合成图像支持稳健的诊断:使用混合真实-合成数据时,PDS在正常对照组(NC)、轻度认知障碍(MCI)和阿尔茨海默病(AD)分类中的准确率为67.92%;仅使用合成数据进行训练并在真实图像上测试时,准确率达到了77.35%,在所有方法中最高,显示出对临床有意义信息的出色保留能力。
引言
磁共振成像(MRI)通过非侵入性方式可视化解剖结构,并具有出色的软组织对比度,彻底改变了医学诊断。其专门变体中,功能性MRI(fMRI)捕捉血氧水平依赖性(BOLD)信号以绘制大脑活动图谱,而扩散MRI(dMRI)通过水分子扩散特性来表征白质完整性[1], [2], [3], [4], [5]。然而,由于回波平面成像(EPI)协议不兼容,fMRI和dMRI无法同时获取。在临床实践中,这通常会导致数据缺失,延长扫描时间,增加成本,并加剧运动伪影——在资源有限的环境中尤为突出。跨模态合成提供了一种有前景的解决方案,通过计算生成缺失的数据,从而在保持诊断完整性的同时减轻获取限制[6], [7]。
关键在于,fMRI和dMRI都是4D数据模式:fMRI沿时间轴变化,而dMRI沿扩散梯度方向变化。然而,这些轴之间没有隐含的对应关系,使得直接进行4D对齐不可行。因此,合成3D代表性体积(例如平均fMRI或标量dMRI图谱如FA/MD)不仅更加稳健,而且在临床上也是必不可少的——例如,用于计算神经退行性疾病分析中的感兴趣区域(ROI)生物标志物[8], [9]。为了建立fMRI时间点与dMRI梯度方向之间的有意义对应关系,将4D扫描划分为N个不重叠的段,可以在数据增强的同时平衡功能-结构语义对齐,同时放宽严格的点对点对齐要求。
现有的跨模态合成方法主要依赖于基于U-Net的架构[10], [11],但它们未能解决fMRI和dMRI之间的根本差异。具体来说,这些方法忽略了信号生成机制的内在差异,并忽视了与疾病相关的语义模式,限制了它们的临床应用。
最近的进展探索了生成对抗网络(GANs)和扩散模型(DMs)在医学图像合成中的应用[12], [13], [14]。GANs,包括SA-GAN [15]和pgan [16]等变体,通过对抗训练建立了跨模态映射。尽管对于2D图像有效,但由于fMRI和dMRI领域之间的高异质性和稀疏性,它们在应用于3D神经成像时常常出现模式崩溃和不稳定[17], [18], [19]。
相比之下,扩散模型通过马尔可夫链的迭代去噪来重建数据。虽然在理论上是更稳定的,但标准DMs在3D fMRI/dMRI合成方面存在困难,因为它们的噪声估计策略难以很好地适应体积数据中的放大模态差异[20], [21], [22]。实际上,最近的研究表明,在某些3D神经图像合成任务中,GANs的表现优于DMs[23]。
疾病语义 。我们将“疾病语义”定义为多模态神经成像数据中具有空间定位性和生物学合理性的模式,这些模式反映了神经退行性疾病的已知神经病理机制。这些不是通用的图像特征,而是fMRI和dMRI之间的结构化、耦合的偏差,它们破坏了正常的大脑组织结构——例如,在fMRI中默认模式网络(DMN)的功能连接性降低,而在dMRI中扣带回束的白质完整性同时退化——dMRI揭示的结构断开可能潜在或加剧了fMRI观察到的功能失调。这种跨模态对应关系在轻度认知障碍(MCI)或阿尔茨海默病(AD)的临床人群中一致观察到[24], [25], [26]。
在这项工作中,我们通过来自功能-结构脑图谱(A_f, A_d)的解剖先验来操作化疾病语义,这些先验识别出受AD/MCI影响最大的区域。通过将这些先验嵌入到扩散过程中,我们的模型生成的图像不仅具有视觉真实性,还具有临床意义上的变化。这使PDM区别于仅优化感知保真度的传统合成方法。
尽管取得了这些进展,基于GAN和DM的方法仍面临两个关键挑战:
(1) 基本信号差异:
fMRI反映的是血流动力学BOLD响应,而dMRI编码的是微结构水分子扩散。这种不匹配表现为空间异质性(体素级别的强度和纹理差异)和功能解耦(缺乏直接的生理对应关系),导致合成图像的组织特异性、微结构保真度和语义准确性受损。
(2) 语义与病理学的脱节:
当前方法更重视像素级别的真实性,而不是疾病特定的语义。因此,合成图像可能看起来合理,但无法捕捉到细微的病理特征——例如神经退行性疾病中的结构-功能耦合紊乱——从而限制了它们的诊断效用[27]。
为了解决这些问题,我们提出了一个基于模式的扩散合成(PDS)框架,将疾病语义整合到生成过程中。利用解剖分割的图谱,我们识别出在正常对照组(NC)中表现出强功能-结构耦合但在轻度认知障碍(MCI)和阿尔茨海默病(AD)中明显解耦的多模态神经标志物——这是先前方法所忽略的关键病理特征。我们在双模态3D扩散模型的去噪步骤中嵌入这些疾病特定的模式作为条件先验,确保合成的fMRI和dMRI反映了真实的病理关系。
此外,我们引入了两个细化模块:(i)组织细化采用可学习的神经解剖学先验来减轻基于扩散的生成过程中的空间模糊;(ii)高效微结构细化以参数高效的方式减少三平面视图(轴向/冠状/矢状)之间的特征级差异,提高生物物理一致性。
我们的主要贡献包括:
• 基于模式的双模态3D扩散模型。
我们根据基于图谱的功能-结构相关性在NC/MCI/AD队列中得到的疾病语义来条件化去噪过程。这使得双向合成(fMRI ? dMRI)成为可能,同时明确地弥合了3D跨模态域的差距,并保持了病理相关性。
• 组织和高效微结构细化。
我们提出了(1)一个具有可学习解剖学先验的组织投影网络来对抗空间模糊,以及(2)一个轻量级的微结构细化模块,用于在三维投影中对齐深度特征,以提高微结构保真度,而无需大量计算。
• 全面验证。
我们的方法在OASIS-3、ADNI和一个临床队列上实现了行业领先的3D合成保真度(SSIM = 0.908 / 0.902 / 0.923),并展示了强大的临床效用:(i)使用混合真实-合成训练数据,将NC/MCI/AD分类准确率提高到67.92% / 66.02% / 64.15%;(ii)在严格的头对头诊断设置中——分类器仅在合成数据上训练并在真实数据上测试——PDS实现了最高的准确率(77.35%)和F1分数(48.44%),在所有五个临床指标中排名第一;(iii)它提高了多模态特征空间中的类别可分性,并产生了更高质量的ROI衍生生物标志物。
相关研究
fMRI/dMRI合成。 由于成本、安全和时间限制,临床MRI经常缺少某些数据模态,尤其是在使用不同EPI协议的序列之间(例如fMRI与dMRI)[9]。虽然现有的基于UF的合成方法可以填补这些空白,但它们未能弥合3D MRI模态之间的根本差异[10], [11]。特别是,当前方法忽略了fMRI和dMRI之间的差异,并忽视了疾病语义。
MRI和医学图像合成中的生成方法。 三种主要的生成方法...
基于模式的扩散模型(PDM)
我们提出了一个双模态扩散框架,通过结合疾病特定的语义(模式)来生成和细化功能性MRI(fMRI)和扩散MRI(dMRI)图像。让x 0 f → d 和 x 0 d → f 分别表示源fMRI和dMRI图像。为了促进组织细化过程,我们定义了一个总的扩散时间步长:前向噪声阶段包含T步,反向去噪阶段包含T步。我们模型的核心创新在于跨模态3D噪声...
我们使用来自三个来源的多模态神经成像数据训练了所提出的PDS框架:阿尔茨海默病神经影像计划(ADNI)、开放获取影像研究系列-3(OASIS-3)和一家私人医院收集的数据集。具体来说,ADNI包括468名正常对照组(NC)和370名轻度认知障碍(MCI)参与者;OASIS-3包括1,473名NC、295名MCI和41名阿尔茨海默病(AD)患者;医院数据集包含77名NC和99名MCI患者。
我们使用三个公开可用的神经成像数据集(OASIS-3、ADNI和一个内部医院队列)对提出的PDS框架进行了全面评估,使用了两种广泛采用的图像质量指标——峰值信噪比(PSNR)和结构相似性指数(SSIM)——用于功能性MRI(fMRI)和扩散MRI(dMRI)合成任务。
如表3所示,PDS始终优于所有...
本研究介绍了基于模式的扩散模型(PDM),这是一个临床实用的跨模态神经成像合成框架,用于解决神经退行性疾病诊断中fMRI-dMRI数据配对稀缺的问题。通过将疾病语义嵌入扩散过程,PDM不仅提高了图像质量(fMRI的PSNR增加了1.54 dB,SSIM增加了4.12%),还生成了具有诊断意义的输出。
疾病语义作为临床催化剂 核心创新在于...
图1、图2、图3、图5。
Xiongri Shen: 撰写 – 审稿与编辑,撰写原始草案,可视化,验证,监督,软件,资源,项目管理,方法论,研究,资金获取,正式分析,数据管理,概念化。Jiaqi Wang: 资源,项目管理,研究。Yi Zhong: 资金获取,正式分析,数据管理。Zhenxi Song: 验证,监督,软件,概念化。Leilei Zhao: 方法论,研究,资金
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。