将频率感知的Mamba技术与扩散算法相结合，用于4D体积图像合成

《Pattern Recognition》：Integrating Frequency-Aware Mamba with Diffusion for 4D Volumetric Image Synthesis

4D呼吸器官运动预测与合成模型显著提升放疗剂量精准性，通过扩散模型生成中间体积与标注，结合频率感知的Mamba变形模块实现高效低延迟运动估计。

　　

施阳阳|邹北吉|邓晓年|张宇聪|刘泽华|桂晓燕|徐刚|司伟新

中国中南大学计算机科学与工程学院

摘要

对人体器官的4D运动预测对于精确的放射治疗剂量传递至关重要，因为放射治疗过程高度依赖于目标器官的动态变化。在这方面，对呼吸运动的准确建模和可视化显著提高了医生对器官行为的理解，最终改善了治疗效果。然而，在临床环境中，医生常常难以根据有限的呼吸相位数据估计器官的运动情况，这可能对放射治疗产生不利影响。为了解决这个问题，我们提出了一种新的4D呼吸器官运动合成模型，该模型通过在两个相位之间生成连续的中间体积和相应的目标标签来提高估计精度。具体来说，我们的方法采用基于扩散的可变形合成框架来学习输入体积中的空间和时间信息，从而能够合成呼吸器官的中间状态。我们还引入了一种基于Mamba的频率感知配准模型，该模型使用空间自适应的低通和高通滤波进行特征补偿，有效捕捉了相位间的变形。训练完成后，该模型通过空间变换层生成时间连续、拓扑结构保持的动态器官体积。我们在两个数据集上进行了全面评估，包括一个内部开发的RLCS队列和一个公开可用的心脏数据集。在RLCS数据集上，我们的方法达到了92.5%的Dice分数（相比之前的91.9%提高了0.6%）；在心脏数据集上，达到了83.2%的Dice分数（相比之前的82.1%提高了1.1%）。借助所提出的基于Mamba的频率感知配准模块，这些精度提升是在低延迟推理下实现的（在RLCS数据集上为0.467秒/10个体积，在心脏数据集上为0.527秒），表明其适用于近乎实时的运动管理。

引言

准确的4D呼吸运动预测是剂量传递精度的关键时空学习问题[1]。有效的呼吸运动建模和可视化有助于医生更好地理解器官动态，并支持精确的决策制定。由于放射治疗能够延长生存期并减轻症状负担，因此它仍然是中晚期恶性肿瘤的主要治疗选择[2]。然而，对于肺癌等胸部肿瘤，治疗精度受到呼吸引起的运动的影响。为了缓解这一问题，呼吸门控[3]将外部表面运动与内部肿瘤位移相关联。这种技术通常使用光学表面监测系统（OSMS），并在根据预测的运动和剂量计划确定的特定时间点进行放射治疗。然而，由于呼吸运动的复杂时空动态，模型必须学习可变形解剖结构的预测表示，并且要对患者和扫描仪级别的域偏移具有鲁棒性[4]。最近在时空表示学习、可变形配准和预测先验方面的进展在应对这些挑战方面显示出了巨大潜力[5]。利用这些方法，可以更准确和鲁棒地建模呼吸运动，进一步提高放射治疗的精度。鉴于这些发展，迫切需要实时的、精确的4D肿瘤跟踪技术，特别是对于位于动态器官中的肿瘤。

临床实践中的呼吸运动跟踪方法大致分为基于标记的方法和基于图像的方法。基于标记的方法包括直接和间接的方法。在直接方法中，标记被植入肿瘤附近，要么深入体内，要么位于皮下组织中，以实现精确的跟踪结果。然而，这些方法具有侵入性，且标记可能会随时间被代谢[6]。另一方面，基于图像的方法在体表放置外部标记，通过将它们与呼吸运动相关联来预测内部肿瘤位置[7]。然而，在动态条件下，这种相关性可能会变得不稳定[8]。

与基于标记的方法不同，基于图像的技术通过学习不同呼吸相位之间的图像位移来估计呼吸运动。这些技术进一步分为模型驱动和数据驱动的方法。模型驱动方法依赖于特定于患者的术前和术中图像来计算位移场，尽管这个过程通常耗时且难以在放射治疗环境中直接实施[9]。相比之下，数据驱动模型利用预训练模型中的术中图像快速生成预测结果[10,11]。然而，对于数据驱动模型来说，在连续的4D场景中实现长期、精确的呼吸运动预测仍然是一个挑战。此外，当前的呼吸门控技术往往会产生模糊的术中图像，并且缺乏对肿瘤和关键器官的实时可视化，这限制了医生在手术过程中监测肿瘤位置的能力。

为了解决这些挑战，我们提出了一种端到端的运动合成方法，该方法结合了扩散和Mamba模块以实现长期、连续的4D呼吸运动预测。在我们的模型中，去噪扩散模块从源图像、目标图像和扰动的目标图像中提取特征信息，生成一个潜在代码，然后将其输入到可变形配准模块以生成中间体积。为了确保精确的呼吸位移预测，我们采用了基于Mamba的频率感知配准模块。该模块结合了空间自适应的低通滤波器和高通滤波器，基于奈奎斯特-香农定理[12]，在编码过程中恢复丢失的低频信息，在解码过程中恢复高频细节，从而提高最终估计的精度。我们的模型进一步集成到一个虚拟系统中，该系统将真实的4D呼吸数据与相应的OSMS重建曲线联系起来，以预测的呼吸运动结果和预先收集的OSMS曲线作为输入。这种集成减轻了圆锥束计算机断层扫描（CBCT）可视化相关的模糊度。最终，该系统可以支持外科医生在呼吸门控放射治疗中的工作，提高实时指导和精度。

我们工作的主要贡献总结如下：

•

我们提出了一种新的框架，用于合成呼吸器官运动，以提高动态环境中癌症放射治疗的精度。通过结合去噪扩散模型，该框架准确地对齐不同呼吸相位之间的体积，并生成多个连续的中间体积及其对应的分割图。

•

我们开发了呼吸肺癌合成（RLCS）数据集，其中包含100对连续的、全周期的呼吸CT体积图像，每个相位都附有相应的分割标签。这些图像来自10名肺癌患者，并补充了另外5名患者的4DCT图像和同步的表面呼吸运动曲线。一旦获得批准，该数据集将用于研究目的。

•

我们引入了一种基于Mamba的频率感知配准模型，用于估计源体积和目标体积之间的连续变形场。该模型在编码阶段使用空间自适应的低通滤波器来改进低频信息的捕获，在跳跃连接层使用空间自适应的高通滤波器来增强高频特征的提取。这些特征共同使我们的网络能够生成高度精确的4D呼吸体积。

•

我们在内部的RLCS数据集和公开可用的ACDC心脏数据集上验证了所提出的框架。结果表明，我们的模型在保持高配准精度的同时，没有显著增加时间消耗，证明了其在连续呼吸运动估计方面的鲁棒性能。

章节片段

基于标记的运动估计

在早期的临床实践中，通过直接将基准标记植入患者体内来预测肿瘤呼吸运动的方法被广泛使用[13]。由于这些标记相对于软组织的对比度高，并且与肿瘤位置有很强的相关性，因此使用植入的基准标记进行准确的肿瘤位移预测成为可能。例如，Hayashi等人[6]开发了一个线性回归模型来获取基于

方法论

给定源图像$I_{}$和目标图像$I_{}$，经典图像配准方法的目标是在它们之间建立空间对应关系。在这种设置中，$?$表示从训练数据集中学习到的变形场，$I_{}°?$表示使用该变形场对源图像$I_{}$进行变形后的结果。术语$\lambda R\left(?\right)$对变形场施加了平滑处理，$\lambda$作为权重超参数，以平衡相似性和变形损失

实现细节

所提出的模型使用PyTorch（版本1.12.1）在两个NVIDIA Quadro RTX A6000 GPU上实现。数据来源、采集协议和手动注释在3.1节中有描述。我们使用AdamW优化器（初始学习率2×10^?4）进行了800个时代的训练，批量大小为10。对于扩散模块，我们采用了DDPM [32] 3D U-Net框架，并应用了与[11]中相同的参数，噪声调度逐渐从10^?6增加到10^?2。对于配准

结论

在本文中，我们提出了一种用于合成连续呼吸器官运动的新颖可变形配准框架。为了解决在放射治疗过程中有限相位采集无法连续提供肿瘤和ORA位置的问题，我们采用了基于扩散的核合成模块来提供捕捉呼吸相位间空间信息的先验，以及一个利用全局上下文的频率感知Mamba配准模块

CRediT作者贡献声明

施阳阳：撰写 - 原始草稿、可视化、验证、方法论、调查、概念化、软件。邹北吉：监督、资金获取。邓晓年：资源、数据管理。张宇聪：资源、数据管理。刘泽华：软件。桂晓燕：监督、资金获取。徐刚：数据管理。司伟新：概念化、方法论、撰写 - 审稿与编辑、监督、资金获取。

CRediT作者贡献声明

施阳阳：撰写 – 原始草稿、可视化、验证、软件、方法论、调查、形式分析、概念化。邹北吉：监督、项目管理、资金获取。邓晓年：资源、数据管理。张宇聪：资源、数据管理。刘泽华：软件。桂晓燕：监督、资金获取。徐刚：资源。司伟新：撰写 – 审稿与编辑、监督、项目管理、方法论、资金获取。

利益冲突声明

我们希望提交题为“将频率感知Mamba与扩散结合用于4D体积图像合成”的手稿，以供《模式识别》期刊考虑发表。提交过程中不存在利益冲突，所有作者都批准了该手稿的发表。我们声明所描述的工作是原创研究，之前未以全部或部分形式在其他地方发表。

致谢

本工作部分得到了国家自然科学基金（授权号：62372441、U22A2034）、中国科学技术部高级外国专家计划、湖南省科技厅关键研发计划（授权号：2024JK2135）、湖南省教育厅科学研究基金（授权号：24A0018）、湘江实验室重大项目（授权号：23XJ02005）的支持