《Biomedical Signal Processing and Control》：Multistage transfer learning for skin squamous cell carcinoma histopathology image classification
编辑推荐：
皮肤鳞状细胞癌（SCC）病理切片图像的自动诊断方法，提出多阶段迁移学习（MSTL）结合视觉Transformer（ViT）模型。通过ImageNet预训练，分阶段微调于乳腺癌病理数据集和SCC专用数据集，实现0.9752准确率与0.9739 AUC，验证MSTL在有限标注数据下的高效迁移与分类性能提升，为减少专家主观误差提供新方案。
Gelan Ayana|Beshatu Debela Wako|So-yun Park|Kwangcheol Casey Jeong|Soon-Do Yoon|Se-woon Choe
韩国古姆市Kumoh国立技术学院医学IT融合工程系，邮编39253
摘要
鳞状细胞癌（SCC）是第二常见的皮肤癌类型，由于其早期未被发现和治疗时可能发生转移，对公共卫生具有重大影响。传统的诊断方法依赖于组织病理学分析，但面临诸如组织形态变化大和依赖专家解读等挑战，导致诊断结果不一致。为了解决这些问题，本研究提出了一种新的多阶段迁移学习（MSTL）方法，该方法利用深度学习模型从组织病理学图像中自动诊断SCC。MSTL框架首先在庞大的ImageNet数据集上预训练模型，然后在大型乳腺组织病理学数据集上进行微调以捕获领域特定特征，最后在较小的SCC组织病理学数据集上进一步优化。本研究采用了视觉变换器（ViT）模型，这是SCC分析领域的开创性应用。实验结果表明，基于MSTL的ViT模型达到了0.9752的准确率、0.9708的精确度、0.9734的召回率和0.9741的F1分数以及0.9739的接收者操作曲线下面积（AUC），从而树立了新的基准。此外，MSTL方法表现出更高的训练效率，损失更小，收敛速度更快，且计算成本不高。在独立数据集上的评估证实了MSTL方法的稳健性，AUC达到了0.9437。MSTL方法还显示出很强的泛化能力，其泛化度量与AUC之间具有较高的皮尔逊相关系数。需要进一步研究以评估MSTL对其他癌症的适用性及其在临床环境中的可行性。
引言
鳞状细胞癌（SCC）是一种与长期紫外线（UV）暴露相关的常见皮肤癌[1][2]，紫外线引起的损伤会超出修复机制，导致基因突变和肿瘤形成[3]。尽管SCC通常进展缓慢且易于管理，但免疫系统受损的个体患侵袭性疾病的危险更高[4][5]。未经治疗的SCC可侵犯皮肤深层，造成广泛损伤并可能发生转移，从而导致严重的健康后果[6]。早期发现对于降低SCC风险和确保及时有效的治疗至关重要[7]。SCC的诊断是一个旨在准确检测和描述病情的复杂过程[4]。初步步骤通常包括皮肤科医生进行全面的皮肤检查，重点识别面部、手部和嘴唇等暴露于阳光下的区域的异常痣、病变或色素沉着区域[8][9]。同时，还会进行血液检查，包括全血细胞计数，以评估可能影响治疗方式的潜在系统性疾病[10]。然而，SCC诊断的核心是通过活检进行组织病理学分析，病理学家在显微镜下检查组织样本以确认癌细胞的存在[11]。根据病变的特点和位置，采用不同的活检技术，从表浅生长的刮片活检和穿刺活检到较大或较深病变的切除活检[12]。
尽管活检在SCC诊断中具有价值，但由于样本质量不稳定、组织变异性以及缺乏标准化自动化，其诊断精度仍然有限[13]，这使得精确诊断变得困难[14]。此外，临床医生在活检采样方面的专业技能也会影响诊断准确性，因为技术不当可能会影响结果[15]。
为了解决这些挑战，研究人员越来越多地转向人工智能（AI）技术，特别是深度学习，以革新SCC的诊断[16]。深度学习算法用于分析组织病理学图像，具有高精度，能够从大量数据集中自主学习复杂的模式和特征[17]。通过自动化组织样本的分析，深度学习加速了诊断过程，减少了周转时间，并提高了整体诊断精度，相比传统方法更为有效[18]。这种变革能力不仅优化了病理实验室的资源利用，还有助于及时做出对改善患者结果至关重要的临床决策[19]。
然而，深度学习在SCC组织病理学分析中的应用存在局限性。一个关键障碍是缺乏针对SCC的大型、标注良好的数据集，而这些数据集对于训练强大且泛化的深度学习模型至关重要[20]。SCC组织病理学中独特的形态变化和组织复杂性进一步增加了开发有效AI解决方案的难度[21]。此外，处理高分辨率组织病理学图像的计算需求需要先进的计算基础设施和专业知识，这对其在临床环境中的广泛应用构成了挑战[22]。
迁移学习是一种策略，通过将来自更大数据集的预训练模型适配到特定任务的小数据集上来缓解这些挑战[23]。迁移学习通过利用从更广泛的医学成像数据集中学习到的知识和特征，提高了深度学习算法在SCC诊断中的性能和效率[24]。然而，不同数据集之间特征的泛化能力仍然是一个问题，特别是考虑到SCC独特的组织病理学特征可能与更通用的医学成像环境中的特征不一致[25]。对预训练模型进行微调以解决领域特定偏差并确保模型的可解释性对于优化诊断准确性和临床接受度至关重要[26]。
本研究开发了一种多阶段迁移学习（MSTL）方法，使用视觉变换器（ViT）模型从组织病理学显微图像中自动识别SCC。该方法利用在ImageNet数据集上预训练的深度学习模型，能够从多种图像中提取通用特征。ImageNet数据集本身包含通用对象和动物图像，未用于训练或验证，仅作为模型初始化时的预训练权重来源。这些预训练模型捕获了通用的低到中等级别的视觉特征（如边缘、纹理、颜色梯度），这些特征在微调后可以转移到组织病理学成像任务中。随后，该模型在乳腺组织病理学图像（一个大型组织病理学图像数据集）上进行了微调[27]，使其知识适应组织病理学图像的特定特征。尽管乳腺癌的组织病理学结构与SCC不同，但两者都具有基本的图像特征，如细胞核分布、细胞质纹理和染色变化。这些通用视觉模式使得特征在不同类型的癌症之间有效转移成为可能。这种方法的原理基于领域适应和迁移学习的原则，即在一种癌症类型的组织病理学图像上预训练的模型可以学习出对其他组织病理学任务也有用的通用形态和纹理表示。最后，从乳腺组织病理学任务中预训练的模型进一步进行了微调，以分类皮肤SCC的组织病理学图像。这种MSTL策略利用了每个阶段学习到的特征表示，使模型逐步完善其对病理特征和模式的理解，最终提高了其在特定领域有限标注数据的情况下准确分类皮肤SCC组织病理学图像的能力。除了使用MSTL外，本研究还采用了ViT模型，使其成为将ViT模型应用于SCC图像分析的开创性工作。由于缺乏准确的自动化系统，SCC的评估仍然依赖于在显微镜下主观检查组织病理学全切片图像。然而，这种方法依赖于专家的专业知识，可能会导致错误的诊断和治疗方案。本研究提供了一种改进的方法，用于开发使用组织病理学图像自动诊断SCC的系统。
相关工作
深度学习在医学图像分析中的应用受到了广泛关注，尤其是在从组织病理学图像中检测和分类癌症方面[28]。作为第二常见的、潜在更具侵袭性的皮肤癌类型，SCC已成为多项研究的重点，这些研究采用深度学习技术来提高诊断的准确性和效率[29]。卷积神经网络（CNN）因其
方法
本研究基于回顾性和注册数据，因此不涉及人类受试者，也不需要IRB批准。我们的外部验证数据集是回顾性收集的，因此无需获得知情同意。在本节中，我们介绍了MSTL的背景，介绍了本研究使用的材料和实验设置（即数据集），描述了我们使用的MSTL模型，并介绍了用于量化有用性的泛化度量方法
结果
实验结果表明，MSTL方法不仅在所有主要指标上均优于CTL模型，还为SCC图像分类树立了新的基准，提供了一种非常有效的诊断方法。
讨论
MSTL方法在从组织病理学图像中分类皮肤SCC方面展现了巨大潜力。该方法优于传统的迁移学习技术，突显了其在提高SCC诊断准确性和可靠性方面的价值，这对于及时有效的患者护理至关重要。
MSTL方法在各种性能指标上都有显著改进，表明其能够应对SCC分类的挑战。
结论
传统的从组织病理学图像准确分类皮肤SCC的诊断方法耗时、劳动密集且容易出错，而现有的深度学习方法往往受到数据集有限和SCC独特复杂性的影响。本研究提出了MSTL作为这些挑战的解决方案，并展示了其在提高诊断准确性和效率方面的能力。研究结果表明，特别是当应用于ViT模型时，MSTL的表现优于CTL
CRediT作者贡献声明
Gelan Ayana：概念构思、方法论、软件开发、资源管理、验证、形式分析、数据整理、初稿撰写、审阅与编辑、可视化。Beshatu Debela Wako：数据整理、审阅与编辑、可视化。So-yun Park：软件开发、数据整理、审阅与编辑。Kwangcheol Casey Jeong：审阅与编辑。Soon-Do Yoon：审阅与编辑、监督。Se-woon Choe：概念构思、方法论
资助
本研究得到了韩国国家研究基金会（NRF）基础科学研究计划的支持，该计划由教育部（RS-2023–00240521）和科学技术信息通信部（RS-2025–16068429）资助。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
