《Pattern Recognition》：Active Test-Time Adaptation for Continual Medical Image Classification
编辑推荐：
针对医疗图像分类中的持续数据流分布偏移和隐私限制问题，本文提出主动测试时间自适应框架ATMC，通过动态选择并标注关键样本（DTSS模块）与加权损失优化（WLNA模块）协同工作，有效缓解灾难性遗忘并提升模型性能，实验在X-ray、HAM10000、Camelyon17等数据集上验证了超过30%的精度提升和5%的标注成本优化。
Kewei Zhao|Guangle Song|Chenyu Ge|Wenqi Hu|Xinfeng Liu
山东建筑大学，济南，250101，中国
摘要
在实际应用中部署的医学图像分类算法面临两个关键挑战：严格的隐私限制导致无法访问完整的重新训练数据（源数据），以及数据分布持续变化的特点。测试时适应（TTA）通过在线更新模型来缓解这些问题，而无需重新访问源数据。然而，当前的无监督TTA方法往往难以应对医学数据的持续分布变化，从而导致性能显著下降和灾难性遗忘。在本文中，我们提出了主动测试时适应医学图像分类（ATMC）这一通用框架，该框架通过在线专家标注动态选择和标注关键流式医学样本，从而提高模型性能并减少遗忘。为了实现ATMC的目标，我们引入了一种新的适应方法，包括两个模块：多样化目标类和源类采样（DTSS）和带邻居增强的加权损失（WLNA）。DTSS主动查询专家对高不确定性样本的标注，以学习特定于目标的特征，同时选择低不确定性的伪标记样本以保留源类知识并最小化遗忘。WLNA通过包含主动标注样本的互惠邻居来丰富监督，并应用加权调整以最大化学习效果，同时最小化源类样本中错误标注的影响。实验表明，我们的方法在HAM10000数据集上实现了超过30%的性能提升，并在ChestX-ray和Camelyon17等基准测试中提升了性能，且标注成本仅为5%。
引言
自动化医学图像识别算法在受控环境中展示了提高诊断准确性和效率的巨大潜力[1]。然而，在实际临床环境中部署这些算法时遇到了几个重大挑战。主要问题在于医学数据通常以连续流的形式出现，其分布特征在训练集和测试集之间不断变化[2]。这种变化由患者人口统计特征的变化、疾病模式的发展以及数据收集实践的差异等因素驱动，给模型适应带来了很大困难。此外，严格的隐私法规限制了对全面医学数据集的访问[3]，从而限制了可用于模型训练的数据多样性，影响了模型的泛化能力。我们工作的动机是在涉及隐私限制、在线目标数据和动态分布变化的条件下确保医学图像分类的可靠性。
为了解决这些挑战，测试时适应（TTA）[4]、[5]、[6]作为一种有前景的范式应运而生，它通过将知识从源域转移到目标域来实现实时模型参数调整。这一框架有助于缓解由分布变化、隐私限制和连续数据流引起的性能下降。通过利用未标记的目标数据而无需额外标注成本，TTA方法在专门的医学图像分类任务中显示出了有效性[7]、[8]。然而，TTA方法缺乏明确的监督，这在数据分布变化时影响了稳定性，其逐步的适应过程缺乏保留历史知识的适当机制。这些因素导致了性能瓶颈，并有可能导致先前获得的信息被遗忘（见图1）。
为了解决这些限制，我们提出了一个新框架——主动测试时适应医学图像分类（ATMC），它将主动学习[9]、[10]与测试时适应（TTA）相结合，以应对医学成像中的持续分布变化。ATMC动态选择一组高信息量的样本进行专家标注，有效地将监督信号引入适应过程，从而提高模型性能并减少灾难性遗忘。为了实现ATMC的目标，我们需要解决两个关键挑战：高效确定最具信息量的样本进行标注，以及将标注样本无缝整合到实时TTA中，以实现模型的稳健和持续泛化。
只有两项先前的工作，SimATTA[11]和EATTA[12]，探索了在线主动样本选择，但它们都是为简单的自然图像设计的，并不适合医学成像。SimATTA依赖于基于阈值的源类样本选择，在多样化的医学领域变化下难以调整，并且未能捕获具有代表性的样本；而它仅使用交叉熵损失，未能充分利用有限的监督。EATTA同样仅标记高熵样本，并且更新受限，限制了样本多样性和学习能力。这突显了一个关键差距：现有的TTA和ATTA方法无法有效利用有限的监督或确保医学成像中的稳定性和知识保留。
为了实现ATMC的双重目标，我们提出了一种新的适应方法，包括两个模块：多样化目标类和源类采样（DTSS）和带邻居增强的加权损失（WLNA）。DTSS模块从簇的边界策略性地选择高不确定性样本，确保每批样本的多样性。这种有针对性的选择捕获了具有代表性的、信息量大的目标类样本供专家标注，提高了模型对不确定实例和分布变化的适应能力。同时，DTSS从簇中心选择高度可靠的伪标记样本，以保持多样且稳定的源域知识，从而保留了关键的原始分布信息。作为DTSS的补充，WLNA模块通过标注互惠邻居来增强主动样本池，优化了在受限标注预算内的额外信息样本的使用。WLNA采用加权损失机制，优先考虑关键的信息量大的目标类样本，同时对可靠但可能噪声较大的源类样本赋予较低的权重，有效减轻了标签噪声并最小化了错误标注的风险。
在三个基准医学图像分类数据集——X-ray、HAM10000和Camelyon17上进行的广泛实验证实，我们的方法显著提高了在线适应能力和分类性能，有效缓解了动态环境中的灾难性遗忘（见图1）。值得注意的是，在HAM10000数据集上，我们的方法在线域和历史域的准确率提升了超过30%，标注成本仅为约5%。
我们的主要贡献总结如下：
•我们提出了主动测试时适应医学图像分类（ATMC），这是一种结合主动学习和无监督适应策略的新范式，用于处理连续的医学图像流，同时提高分类准确率并减少灾难性遗忘。
•为了有效实现ATMC的目标，我们引入了两个互补模块：DTSS，它可以精确识别信息量大的主动样本；WLNA，则能够高效利用这些样本进行模型更新。
•在多种医学图像数据集（X-ray、HAM10000、Camelyon17）上的实验验证表明，我们的方法在新任务和历史任务中始终提高了性能，为医学成像应用提供了一种实用且成本效益高的解决方案。
相关工作
相关研究
借助机器学习，医学图像分类在CT、X-ray和MRI等成像模式中取得了显著进步，实现了高准确率[13]。ResNet[14]、DenseNet[15]和EfficientNet[16]等模型在肿瘤检测和器官分割等任务中表现出色。迁移学习通过从大型数据集中学习知识，进一步优化了这些模型，以适应特定的医学应用[17]。此外，
方法
在本节中，我们首先介绍了主动测试时适应医学图像分类（ATMC）的概念、目标和相关挑战。然后详细介绍了我们提出的方法，包括多样化目标类和源类采样（DTSS）以及带邻居增强的加权损失（WLNA）模块。这些模块解决了ATMC的主要挑战，同时有效地推进了其目标。
实验
基准测试。我们使用三个代表性的医学成像任务来评估ATMC：HAM10000上的皮肤癌分类[40]、Camelyon17上的淋巴结转移检测[41]，以及X-ray数据集上的肺炎诊断[42]、[43]、[44]、[45]。HAM10000包含10,015张高分辨率的皮肤镜图像，涵盖四个领域（RD、VMod、VMol和Vdis）和六个病变类别。Camelyon17包括来自五个医疗中心的1,000张全切片图像；根据先前的研究[46]、[47]，
结论
本文介绍了主动测试时适应医学图像分类（ATMC），这是一种新的方法，旨在动态选择和标注关键流式医学样本，以提高测试时的性能并减少遗忘。ATMC结合了主动学习和测试时适应，有效应对了医学图像分类中的隐私限制和连续数据流带来的挑战。为了实现ATMC的目标，我们提出了两种
局限性
我们ATMC方法的有效性受到依赖于训练有素的源模型的影响。模型迁移、共享和训练中的不一致性等因素可能会严重影响ATMC在不可预测场景中的鲁棒性。此外，尽管实证证据表明ATMC通过利用一组选定的主动样本提高了性能，但缺乏理论基础和深度学习架构的复杂性限制了其效果
CRediT作者贡献声明
Kewei Zhao：撰写——审阅与编辑、撰写——初稿、可视化、验证、软件、方法论。Guangle Song：撰写——审阅与编辑、验证、软件、资源。Chenyu Ge：撰写——初稿、方法论、形式分析。Wenqi Hu：撰写——初稿、可视化。Xinfeng Liu：撰写——审阅与编辑、监督、方法论。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
致谢
本工作得到了中国国家自然科学基金（项目编号51975332）、山东省重大科技创新项目（项目编号2021CXGC011204）、山东建筑大学博士基金（项目编号X19023Z0101）以及中国山东科技创新工程青年人才的支持。
