集体力量与个人影响力：一种用于推荐新产品的决策方法

《Engineering Applications of Artificial Intelligence》：Collective strength and individual influence: A decision-making method for recommending new products

X射线与CT图像配准中，提出三循环模态统一网络，通过引入中间无偏模态（BM）双向优化X射线与DRR图像的模态对齐，结合多尺度Transformer-CNN融合架构，显著降低模态差异，实现平均旋转误差0.5°、平移误差X/Z向0.5mm、Y向<1mm的高精度配准。

　　

孙远曦|唐川|钟欣|陈晓红|郑佳|白龙

重庆大学先进设备机械传动国家重点实验室，中国重庆400044

摘要

在许多临床和外科应用中，X射线与计算机断层扫描（CT）图像之间的精确配准起着至关重要的作用。然而，基于深度学习的二维/三维（2D/3D）配准方法通常依赖于通过射线投射生成的数字重建放射图像，而X射线图像与数字重建放射图像（DRR）之间的显著模态差异会显著降低配准精度。本研究提出了一种三循环模态统一网络，该网络引入了一种中间的无偏模态来弥合两种模态之间的差异。X射线和DRR图像都被转换成这种统一的模态，有效地减少了模态偏差，并降低了与单向转换相关的信息损失。此外，通过将Transformer架构的全局上下文建模能力与卷积神经网络（CNN）的局部特征提取优势相结合，并采用多尺度特征提取策略，设计了一个高效的混合配准网络。实验结果表明，所提出的方法在X轴和Z轴方向的平均旋转误差约为0.5°，平移误差约为0.5毫米，在Y轴方向的误差小于1毫米。这些发现表明，所提出的框架实现了高精度的配准，在计算机辅助诊断和图像引导干预中具有强大的应用潜力。

引言

在临床外科领域，图像引导手术（Han等人，2022年）已成为医学技术进步的关键研究方向之一。在各种医学成像模态中，CT（计算机断层扫描）和X射线因其各自的优势而被广泛使用。CT和X射线图像之间的配准（董J. Y.等人，2018年）不仅有助于医生进行术前诊断和疾病分析，还在术中病变定位和手术器械的实时跟踪中发挥着重要作用（周等人，2016年）。

实现术前3D CT和术中2D X射线图像多模态配准的第一步是维度统一。维度统一的方法包括重建和投影。重建将2D/3D图像配准转换为3D/3D配准。Markelj等人（2008年）基于X射线图像中的高强度梯度对应于CT或MR图像中的不同解剖边界的假设，从2D图像中粗略重建了一个3D梯度场，并将其与原始梯度场进行了配准。Shen等人（2019年）设计了一个用于X射线CT成像的分层神经网络，该网络具有超稀疏投影视图，能够从2D图像生成3D图像以实现维度统一。另一方面，投影将2D/3D配准转换为2D/2D配准。Gao等人（2020年）引入了一个投影空间变换器（ProST）模块来获取2D投影图像，使得端到端的2D/3D配准成为可能。Mori等人（2023年）开发了一个深度神经网络，用于从数字放射图像生成数字重建放射图像（DRR），旨在减少2D/3D配准时间。然而，重建方法通常需要多张术中2D图像（Ying等人，2019年），这限制了它们的实用性，因为存在辐射暴露的担忧。因此，基于投影的维度降维方法更为常用，因为它所需时间更少，且在实践中更容易实施（董G.等人，2023年）。

根据变换参数优化方法的不同，2D/3D图像配准方法可以分为传统的基于迭代优化的方法和基于深度学习的方法。传统迭代2D/3D配准的关键在于相似性度量（Aubert等人，2023年）和用于计算配准结果的迭代优化算法（Han等人，2020年）。目标是找到最佳的空间变换，使得从3D图像生成的2D模拟图像与目标2D图像对齐。

目前，传统的基于迭代优化的图像配准方法可以分为基于强度的方法和基于特征的方法。基于强度的配准方法充分利用灰度信息来构建相似性度量（Lu等人，2024年）。Liu（S. Liu等人，2022年）在一种基于归一化互相关的配准方法中，引入了高斯拉普拉斯（LoG）二阶微分算子作为新的相似性度量，以增强边缘和内部细节信息。Yang（Yang等人，2024年）提出同时配准前后X射线图像和CT图像，并设计了一种称为互信息-归一化相关系数（MN）的新相似性度量，该度量结合了互信息和归一化互相关来提高配准精度。Zhang（Zhang等人，2024年）应用了一种基于模式强度（PI）的2D/3D配准技术来对齐CT和X射线图像。另一方面，基于特征的配准方法主要提取点、线和轮廓等空间特征来构建相似性度量。Yoon（Yoon等人，2021年）使用局部双射对应距离作为相似性度量，以找到最小化术前CTA和术中XA图像中心线提取不一致性的最佳变换。Ban（Ban等人，2022年）采用了一种2D梯度方向加权空间直方图来提取统计特征，克服了先前算法的局限性，同时保持了精度。Si（Si等人，2024年）通过使用深度集成特征点匹配网络增强了对抗高噪声图像的鲁棒性，为优化模型提供了有效的初始化。

传统的基于迭代优化的配准方法也存在显著的局限性。这些方法本质上计算密集，难以实现实时配准。相比之下，基于深度学习的方法可以通过单次前向传递完成图像配准，消除了对迭代优化的需求，显著提高了计算效率（Chen等人，2025年；Chen等人，2025年）。目前，越来越多的研究人员将深度学习应用于2D/3D医学图像配准。Sun（Sun等人，2024年；Sun等人，2024年）设计了一个双编码器框架，同时从CT和DRR中学习先验知识和空间变形，实现了2D和3D特征之间的可变形变换。Miura（Miura等人，2025年）提出了一个监督式深度学习框架，从2D投影图像中学习潜在的图像特征，以执行3D体积和单视图2D投影之间的2D/3D可变形图像配准。Chen（Chen等人，2025年）开发了一个血管匹配网络，该网络利用注意力机制和消息传递有效地捕获复杂的拓扑结构。该网络以端到端的方式在不同图像模态之间建立密集的对应关系，并为刚性和非刚性配准推导出封闭形式解。Huang（Huang等人，2025年）提出了一种基于学习的2D/3D配准框架，该框架包括基于CNN的回归和质心对齐。前者使用残差回归网络初步估计术前3D血管的变换参数，而后者根据目标血管的质心细化投影图像。Qu（Qu等人，2024年）提出了一种基于Transformer（Vaswani等人，2017年）的仿射配准方法，该方法有效利用了Swin Transformer（Z. Liu等人，2021年）的全局连接性和局部性。Oya（Oya等人，2024年）提出了一种自监督的离线学习框架，专门用于解决2D/3D配准过程中内窥镜图像中的严重遮挡问题。

在基于深度学习的2D/3D医学图像配准中，任务通常涉及多模态配准。处理这一挑战的一种主流方法是在执行图像配准任务之前进行模态统一（Spadea等人，2021年；Zheng等人，2022年）。Li（Li等人，2024年）提出了一种2D/3D-MGR配准框架，该框架结合了生成模型来实现术中X射线和DRR图像之间的模态统一，然后通过配准网络进行精确对齐。Ju（Ju等人，2025年）利用生成对抗网络统一了术中X射线和DRR图像的模态，并进一步引入了一个快速的2D/3D配准框架，该框架包括用于初始变换估计的粗配准，然后基于点对齐进行精细配准。

在临床环境中，获取大规模标记的X射线数据集很困难，而生成DRR图像相对容易。因此，大多数方法使用大量DRR图像训练预测模型，然后使用这些模型来预测输入X射线的配准结果。然而，由于X射线和DRR图像之间的固有模态差异，直接在推理过程中使用X射线通常会导致显著的预测偏差，最终降低配准精度。此外，配准网络本身的架构和性能也是影响最终配准结果的关键因素。因此，本文旨在从两个角度提高配准精度：

• (1)
  减少X射线和DRR图像之间的模态差异：当前的模态统一方法通常依赖于单向转换，例如从X射线到DRR或反之，这往往会导致信息损失并限制了统一的效果。为了解决这个问题，我们提出了一种基于第三种模态的模态统一策略，其中X射线和DRR图像都被转换成无偏模态（BM）。然后在BM内部评估模态统一性能，以减少信息损失并促进下游配准。
• (2)
  优化配准网络架构以提高性能：我们可以将Transformer的全局依赖建模能力与卷积神经网络（CNN）的局部特征提取优势相结合，并采用多尺度特征提取策略来设计高性能的配准网络，进一步提高配准精度。

本工作的主要贡献如下：

• (1)
  我们提出了一种新的三循环模态统一网络，该网络利用三循环一致性结构显著增强了生成对抗学习过程。此外，我们引入了一个高效的多尺度注意力模块，有效地弥合了X射线和DRR图像之间的模态差异，确保了更准确和可靠的图像配准。
• (2)
  我们开发了一个多尺度融合配准网络，结合了Transformer和CNN组件的优势。该网络配备了高效的特征融合模块和多尺度策略来优化配准性能。当与模态统一网络结合使用时，我们提出了一种先进的X射线/CT图像配准算法，该算法通过利用三循环模态统一的优势优于现有方法。

本文的结构如下：第2节介绍了三循环模态统一网络和多尺度融合配准网络。第3节展示了实验结果及相应的讨论，以分析所提出方法的性能。最后，第4节总结了本文。

章节摘录

网络设计

如图1所示，基于三循环模态统一网络的X射线/CT图像配准算法由两个主要组件组成：模态统一网络和配准网络。模态统一网络将X射线和DRR图像转换成BM，从而解决了X射线和DRR图像之间的模态差异。模态统一网络将X射线和DRR图像转换成共享的无偏模态（BM）。概念上，BM

实验数据准备

使用的具体硬件和软件配置包括：一款AMD Ryzen Threadripper 3990 64核处理器，时钟速度为2.9 GHz，搭配NVIDIA GeForce RTX 3080 Ti显卡，64 GB内存，以及64位Windows 10操作系统。开发语言包括Python和C++，开发平台包括PyCharm和Visual Studio 2019。神经网络使用PyTorch构建，而通过射线投射生成DRR则是使用ITK实现的

结论

本文提出了一种基于三循环模态统一网络的X射线/CT图像配准算法，该算法将此网络与多尺度融合配准网络相结合，实现了高精度和实时配准。三循环模态统一网络通过创新的三循环结构和REMA模块有效统一了X射线和DRR模态，性能优于现有方法。多尺度融合配准网络进一步增强了

CRediT作者贡献声明

孙远曦：撰写——原始草稿、方法论、概念化。唐川：方法论、调查。钟欣：验证。陈晓红：形式分析。郑佳：方法论。白龙：撰写——审阅与编辑。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作得到了重庆市技术创新与应用发展重点项目[项目编号：CSTB2025TIAD-KPX0001]、国家自然科学基金[项目编号：52575267]和重庆市自然科学基金[项目编号：CSTB2025NSCQ-JM009]的支持。