下一代稀疏Transformer框架，用于超高分辨率医学成像中罕见肿瘤的精准检测和动态分期

《Biomedical Signal Processing and Control》：Next generation sparse Transformer framework for precision detection and Dynamic stage classification of rare tumors in ultra high Resolution Medical Imaging

针对超高清医学影像中罕见肿瘤检测的挑战，提出FHST-MDA框架，结合联邦学习、稀疏Transformer、多尺度动态注意力及跨模态融合，在9,618例多模态数据上验证，精度达99.8%，并保障数据隐私。

　　

S.Vishnu Priyan|V.S. Nishok|Jayaprakash Chinnadurai|T.Nivethitha

印度金斯工程学院（Kings Engineering College）生物医学工程系

摘要

在超高分辨率医学成像中，由于肿瘤形态复杂、标记数据集稀缺以及计算能力有限，罕见肿瘤的检测和分类面临重大挑战。传统方法（包括卷积神经网络（CNN）和单模态模型）在精确度、可扩展性和泛化能力之间往往难以取得平衡，尤其是在罕见肿瘤的情况下。这些模型难以捕捉肿瘤的细微变化，处理超高分辨率输入数据，以及整合多模态成像数据。为了解决这些问题，本研究提出了基于联邦混合稀疏变换器与多尺度动态注意力（FHST-MDA）的新框架，该框架专为高效准确的罕见肿瘤分析而优化。FHST-MDA采用稀疏标记化技术降低计算量，多尺度动态注意力机制实现有效的层次化特征学习，并利用边缘感知技术融合CT和MRI数据以提高诊断准确性。研究使用了包含9,618张高分辨率CT和MRI图像的大规模多模态数据集，并在两个独立的基准数据集（Chest CT-Scan和CT Kidney Dataset）上进一步验证了模型的鲁棒性和泛化能力。FHST-MDA在联邦学习框架下运行，确保了数据隐私。实验结果表明其性能优越，准确率达到99.8%，灵敏度达到99.7%，F1分数达到99.6%，显著优于现有模型。这些发现表明FHST-MDA是一种可扩展、保护隐私且适用于临床的罕见肿瘤检测和分类方法。

引言

罕见肿瘤的生长模式非典型且在多数情况下发病率较低，这使其成为肿瘤学领域的一个严重挑战。由于上述原因，大多数罕见肿瘤患者面临诊断延迟和错误诊断的问题，从而导致预后不良和治疗选择有限[1]、[2]、[3]。医学成像技术的发展为临床医生提供了关于肿瘤形态、进展和空间特征的详细信息（通过CT和MRI等模态）。因此，需要精确且重复的分析方法来检测和分类罕见肿瘤，因为这些肿瘤具有更高的复杂性、微妙的变异性和复杂的生长模式[4]、[5]、[6]。脑肿瘤是最罕见的肿瘤类型之一，其亚型多样、解剖位置关键且对神经功能至关重要，这进一步增加了检测和分类的难度。准确检测和分类罕见肿瘤的必要性在于早期和准确的分析，这对治疗结果和患者生存率有重要影响[7]、[8]、[9]。

传统的肿瘤自动检测和分类方法（如CNN和其他先进的机器学习技术）在分析医学图像数据方面具有巨大潜力[10]、[11]、[12]、[13]。然而，传统方法的局限性使其在处理罕见病例时效果不佳，这主要是由于它们对肿瘤大小、形态和纹理变化的敏感性较高。当前方法也无法处理超高分辨率医学图像（计算复杂度高[14]、[15]、[16]、[17]）。这对于解析肿瘤的细微结构至关重要。大多数现有技术都是单模态的（如CT或MRI），未能充分利用多模态成像的互补信息，从而限制了诊断准确性并降低了捕捉肿瘤行为完整性的能力[18]、[19]、[20]。这些方法严重依赖监督学习，因此需要大量标记数据，而在罕见肿瘤类型的情况下，这类资源非常有限。在大多数情况下，敏感的医疗数据无法在不同机构之间方便共享，从而阻碍了基于AI的医疗保健进展[21]。

本研究提出了基于联邦混合稀疏变换器与多尺度动态注意力（FHST-MDA）的下一代框架，专门用于应对多模态成像中罕见肿瘤检测和分类的挑战。该创新框架结合了多个关键模块，超越了传统方法的局限性。首先，稀疏标记化技术能在保持高精度的同时降低计算复杂度；多尺度动态注意力机制增强了模型在微观、中观和宏观层面分析肿瘤特征的能力，从而全面理解肿瘤特性。该框架通过边缘感知的多模态融合有效整合了CT和MRI数据，利用它们的互补优势来提高检测和分类精度。基于梯度的注意力图增强了模型的可解释性，突出了与决策过程相关的关键区域，并为临床医生提供了可操作的见解。此外，它采用了保护隐私的联邦学习方法，支持协作训练而不暴露患者敏感数据。这一创新使FHST-MDA在可扩展性、准确性和罕见肿瘤检测与分类的解释性方面处于领先地位。

由于肿瘤形态复杂、标记数据集有限以及计算要求高，超高分辨率医学成像中的罕见肿瘤检测和分类是一项艰巨的任务。传统方法在精确度和可扩展性之间难以平衡，常常导致罕见或微妙肿瘤类型的误诊或延迟发现。此外，多模态数据之间的整合不足限制了诊断模型的准确性和泛化能力。本研究提出了一个新框架，结合了先进的注意力机制、多模态数据融合和保护隐私的联邦学习，以实现高效、准确且可扩展的肿瘤检测和分类。

• •
  提高诊断精度：多尺度注意力机制能够捕捉层次化的肿瘤特征，从而提高检测准确性和分期分类能力。
• •
  多模态整合：利用CT和MRI的优势，实现对肿瘤特征的全面分析。
• •
  保护隐私的框架：通过联邦学习进行端到端模型训练，同时保护患者敏感数据隐私。
• •
  高效计算设计：采用稀疏标记化和注意力机制，确保计算成本不会影响性能。
• •
  提升临床相关性：为临床医生提供可解释的AI输出结果，包括基于梯度的注意力图。

在CT和MRI等多模态成像中准确检测和表征罕见肿瘤是一个挑战，主要原因是肿瘤形态复杂、标记数据集不足以及计算效率低下。现有的方法（如Tummala [22]和Reddy [23]提出的ViT模型）虽然准确率较高，但泛化能力有限且不可解释，仅适用于单一数据集，这限制了其临床应用。最近的高级框架（如HRSTNet Wei [24]）试图解决空间分辨率问题，但需要大量计算资源，不适合资源受限的环境。为了克服这些限制，本研究提出了FHST-MDA方法，该方法利用稀疏标记化提高计算效率，多尺度注意力机制提取更多特征，边缘感知的多模态融合实现稳健的多模态整合，并通过联邦学习保护数据隐私。

关键贡献

• FHST-MDA是一个结合了稀疏标记化、多尺度注意力和联邦学习的新型框架，用于罕见肿瘤检测任务。
• 边缘感知的多模态融合：利用肿瘤边界融合CT和MRI图像，以提高图像识别精度。
• 多尺度动态注意力机制：在微观、中观和宏观层面分析肿瘤特征。
• 它引入了联邦学习机制，支持协作训练，同时保护患者敏感数据隐私。

相关工作

Tummala [22]研究了视觉变换器（ViT）模型在预测T1加权增强（T1w CE）MRI图像中的脑肿瘤方面的效率。所提出的集成方法使用了四个预训练的ViT模型（分别在B/16、B/32、L/16和L/32分辨率上，并通过ImageNet进行微调以实现多类分类。数据集包含3064张涉及脑膜瘤、胶质瘤和垂体瘤的MRI切片，其中L/32模型的准确率最高，为98.2%。

超高分辨率医学成像中罕见肿瘤的检测和动态分期分类方法

图1展示了FHST-MDA模型用于检测和分类罕见肿瘤的工作流程，包括CT和MRI图像的预处理（图像配准、颅骨去除和感兴趣区域（ROI）提取）。预处理后的数据用于FHST-MDA模型，该模型包含多个组件：多尺度动态注意力、变换器编码器和补丁线性投影。这些组件协同工作，实现边缘感知的肿瘤特征分析。

结果与讨论

以下部分讨论了使用基于联邦混合稀疏变换器与多尺度动态注意力（FHST-MDA）的罕见肿瘤检测系统的性能评估结果。基于检测精度、可扩展性和数据隐私保护等方面总结了一些关键发现。此外，还对现有模型和提出的模型进行了对比研究。

结论与未来工作

FHST-MDA框架旨在解决超高分辨率医学成像中罕见肿瘤检测和分类的问题。该框架通过自适应稀疏标记化、多尺度动态注意力和边缘感知的多模态融合，实现了对肿瘤特征的全面准确分析。

CRediT作者贡献声明

S.Vishnu Priyan： 负责可视化、验证和监督工作。 V.S. Nishok： 负责监督、调查和形式化分析。 Jayaprakash Chinnadurai： 负责其他相关工作。

利益冲突声明

作者声明没有已知的财务利益或个人关系可能影响本文的研究结果。

致谢

无