《Expert Systems with Applications》：A causality-invariant relation learning framework for geometry-driven zero-shot cross-modal retrieval of dermoscopic vascular patterns
编辑推荐：
本研究提出跨模态检索框架CIRL-Dermo，结合几何先验与皮肤镜图像，解决异构数据对齐和泛化难题，在零样本场景下mAP@all达0.69，提升诊断一致性和减少标注依赖。
余周|严东|王军|Waleid Mohamed EL-Sayed Shakweer|Ibrahim Mohamed EL-Sayed Shakweer|胡志刚|李强
河南科技大学医学技术与工程学院，洛阳471000，中国
摘要
在皮肤镜图像中准确识别血管模式需要使用能够在不同采集条件下保持一致性的表示方法，并且能够可靠地转移到未见过的疾病类别中。然而，现有的深度学习方法在模态对齐和泛化到未见过的疾病类别方面仍然面临挑战。为了解决这些限制，本研究提出了一种新的跨模态检索框架CIRL-Dermo（因果不变关系学习），该框架专为结构化几何先验和皮肤镜图像设计，旨在实现从抽象几何形式到真实血管外观的因果一致对齐。所提出的框架包括两个互补的组成部分：（1）模态感知关系学习（MARL），通过构建模内和模间代理交互来增强语义一致性；（2）因果引导的不变嵌入（CGIE），通过傅里叶幅度干预抑制非病理风格变化，以提取稳定且可解释的因果表示。为了评估所提出方法的临床泛化能力，建立了一个八类留一法的零样本检索协议，以模拟之前未见过的疾病类型的真实世界临床检索场景。实验结果表明，CIRL-Dermo在多个 Backbone 上的表现始终优于代表性的基线模型；使用 Swin-T Backbone 时，在零样本设置下，其 mAP@all 为 0.69，Prec@10 为 0.74，Hit@10 为 0.90。t-SNE 可视化和余弦相似性矩阵分析进一步证实了其在跨模态对齐和语义解释方面的有效性。在临床层面，所提出的基于几何先验的检索范式提供了一种可解释且高效的临床流程，用于根据标准化的几何模板检索具有相似血管形态的皮肤镜图像，从而提高诊断一致性，减少对注释的依赖，并支持基于证据的皮肤科决策。
引言
皮肤镜作为一种非侵入性和直观的成像工具，已成为皮肤科诊断和随访中的关键技术。在其应用中，血管形态特征在各种皮肤疾病的早期识别和鉴别诊断中起着关键作用（Bakay 等人，2024 年；Simionescu 等人，2024 年）。现有研究表明，不同的血管模式与特定的病理状态密切相关。例如，八种代表性的血管形态——点状、团块状、直线状、环形、弯曲状、蛇形、分支状和卷曲状聚集体（表 1）——通常指示不同的临床背景，如炎症、肿瘤或血管异常（Lenoir 等人，2025 年）。然而，血管形态的识别在很大程度上依赖于医生的主观经验，导致观察者之间的显著差异和诊断一致性有限（Liopyris 等人，2024 年）。因此，对血管形态进行客观和标准化的量化已成为提高皮肤镜诊断准确性和可重复性的迫切需求。
在计算机辅助诊断的发展中，医学图像分析传统上依赖于手工制作的特征提取或基于监督学习的分类方法（Huang 等人，2023 年）。这些方法通常需要大量标记的数据来确保模型的稳定性能（VanBerlo 等人，2024 年）。然而，在皮肤镜血管形态分析中，由于样本获取的难度和专家标记的高成本，标记数据的可用性有限，导致数据集相对较小，限制了模型捕捉多样临床变化的能力（Matta 等人，2024 年）。同时，这些方法在不同受试者、成像设备和疾病类别之间的泛化能力较差，导致在小类别和少样本场景下的性能显著下降（Li 等人，2022 年）。因此，仅依赖传统的监督范式已不足以满足临床实践的需求，迫切需要探索更先进的表示学习和跨模态建模策略，以实现更强大的血管形态识别和检索。
在通用计算机视觉领域，跨模态检索和深度度量学习已被广泛采用；例如，基于草图的图像检索研究表明，模型可以在不同模态之间建立有效的语义映射（Liu 等人，2024b 年）。零样本学习的出现进一步扩展了这些模型在大规模类别任务中的适用性，即使在之前未见过的类别上也能实现合理的识别和检索性能（Wang 等人，2024b 年）。然而，当应用于皮肤镜血管形态分析时，这些方法遇到了独特的挑战。一方面，血管模式只包含有限数量的代表性形态，且可用样本数量远少于大规模自然图像数据集中的样本数量，这使得依赖丰富类别分布的方法难以应用（Chaudhuri 等人，2023 年）。另一方面，几何结构图与真实的皮肤镜图像之间存在显著的模态差异——不仅在纹理和颜色缺失方面，还由于医学成像特有的因素，如照明变化、色素沉着和背景噪声（Noh 和 Lee，2025 年）。这些差异使得直接应用通用的跨模态检索或零样本学习方法无效，强调了为皮肤镜血管形态分析量身定制的特定于任务的方法的必要性。
从临床和感知的角度来看，皮肤镜中的血管形态主要基于几何和拓扑特征进行解释，如血管形状、曲率、分支模式和空间分布，而不是细粒度的纹理或颜色细节。这些几何线索在成像设备、照明条件和患者特定外观变化之间相对稳定，使其成为血管模式分析的自然和可解释的先验。在常规临床实践中，皮肤科医生通常依赖于简化的几何抽象（例如，点状、环形、分支结构）来描述和交流血管模式，这也反映在标准的皮肤镜分类系统中（Kittler 等人，2016 年）。因此，一种明确建模并利用几何结构作为指导表示的几何驱动范式提供了一种原则性的方法，可以在保留诊断相关信息的同时减少外观引起的变异性。这一动机是提出跨模态检索框架中采用几何结构表示作为驱动模态的基础。
本研究重点关注八种代表性的皮肤镜血管形态——点状、团块状、直线状、环形、弯曲状、蛇形、分支状和卷曲状——构建了一个包含几何结构表示和真实皮肤镜图像的双模态配对数据集（图 1）。几何模态作为一个标准化的先验，封装了血管模式的核心结构信息。基于这个数据集，采用了一种跨模态度量学习方法，在统一的特征空间中对齐几何和皮肤镜模态，从而实现了从抽象几何到真实血管实例的直接映射。这种设计不仅满足了皮肤科医生在识别血管模式后快速定位相似皮肤镜样本的临床需求，也为类别有限和模态差异较大的医疗场景提供了可行的途径。最终目标是在数据条件有限的情况下实现高效、可靠的零样本检索，减少对大规模标记数据集的依赖，同时提高系统对未见疾病类别的泛化能力。
本研究的主要创新和贡献可以总结为三个关键方面：
首先，在算法层面，提出了一种新的 CIRL-Dermo 框架，用于几何到皮肤镜的跨模态检索。通过整合模态感知关系学习（MARL）和因果引导的不变嵌入（CGIE），该框架有效地缩小了模态差异，并提高了跨模态检索的鲁棒性和可解释性。
其次，在评估层面，设计了一种带有严格控制的零样本检索协议，以防止信息泄露。该协议为小类别医学任务提供了一个可复制和可比较的基准，为未来的研究提供了统一的参考。
最后，在临床层面，引入了一种基于几何先验的检索流程，使临床医生能够使用几何模板快速定位相应的皮肤镜实例。这种方法提高了诊断效率和支持观察者之间的一致性，同时支持质量控制和基于证据的决策。
相关工作
相关工作
近年来，皮肤镜在皮肤病变的非侵入性检测和临床诊断中得到了广泛应用，同时自动化分析方法也取得了快速进展。随着深度学习和表示学习的不断进步，已经进行了大量关于算法优化、少样本和零样本学习范式以及临床应用的研究。这些努力不仅验证了血管和结构特征的诊断价值，而且
数据来源和组成
本研究中使用的皮肤镜图像数据来自公开可用的皮肤病变数据集 ISIC Archive 和
HAM10000 。根据血管形态，数据被分为八类代表性类别：点状、团块状、直线状、环形、弯曲状、蛇形、分支状和卷曲状。为了实现跨模态检索和形态一致性分析，为每张皮肤镜图像手动绘制了相应的几何表示，抽象出拓扑和空间特征
实验环境和可用代码
所有实验都在一台高性能工作站上进行，该工作站配备了两个 NVIDIA GeForce RTX 4090 GPU（总内存 48 GB）、一个 24 核 CPU 和 128 GB 的系统内存。软件环境基于 Python 3.11.7 和 PyTorch 2.0.1 + cu117。训练过程中，批量大小设置为 128，初始学习率为 0.0001，使用了 AdamW 优化器，权重衰减为 0.005。训练过程包括 50 个周期，并采用了余弦退火学习率
讨论
通过整合定量和定性发现，很明显，将 Swin-T Backbone 与 CIRL 框架结合的模型在涉及八种血管形态的零样本检索任务中始终表现出色。该模型在关键指标上表现出显著优势，包括 mAP@all、Prec@10 和 Recall@100，证实了分层注意力机制和模态不变特征学习在跨模态任务中的有效性
结论
本研究提出了一种新的跨模态检索框架 CIRL，用于皮肤镜血管分析，旨在弥合几何结构和真实血管形态之间的差距。通过整合 MARL 和 CGIE，该框架有效地缩小了几何表示和皮肤镜图像之间的模态差异，显著提高了跨模态检索任务的区分度和泛化能力。此外，通过临床导向的零样本评估
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
作者感谢所有参与者。本工作得到了 河南省杰出外国科学家工作室 （资助编号：GZS2025005，授予 J.W.）；医学与工程超声国家重点实验室基金会 （资助编号：2022kfkt004，授予 Q.L.）；天津市自然科学基金 （资助编号：22JCZDJC00220，授予 Q.L.）；天津市自然科学基金 （资助编号：23JCZDJC00020，授予 Q.L.）的支持。
