MT-IDS：一种多任务信息解耦策略，用于识别纵隔区域的淋巴结转移

《Neural Networks》：MT-IDS: A Multi-task Information Decoupling Strategy for Identifying Lymph Node Metastasis in the Mediastinal Region

准确识别纵隔区域转移性淋巴结对肺癌TNM分期诊断至关重要，涉及纵隔区域识别和淋巴结转移评估两个维度。传统单任务算法难以处理多维度分类中的干扰，现有多任务方法在共享与专用特征平衡、梯度冲突缓解方面存在不足。本文提出多任务信息解耦策略(MT-IDS)，采用双控分支路由门机制实现共享与专用特征分离，通过双维度梯度平衡算法动态调节梯度方向与幅度，有效缓解任务间干扰和梯度主导问题。实验表明该方法在消融和对比实验中均展现出显著优势，为复杂医学图像分类问题提供创新解决方案。

　　

周伟|谢依宁|王凤娇|赵静|马佳怡

中国哈尔滨东北林业大学机电工程学院，150040

摘要

准确识别转移性淋巴结所在的纵隔区域对于肺癌的分期诊断至关重要。这一识别任务涉及两个不同的检测维度：纵隔区域识别和淋巴结转移评估。传统的单任务图像分类算法难以处理同一任务中不同分类维度之间的干扰。现有的多任务学习方法在平衡共享特征和任务特定特征之间的关系方面存在困难，并且在梯度调整过程中往往无法有效拟合底层数据分布和任务特性。为了解决这些挑战，我们提出了一种多任务信息解耦策略（MT-IDS）。MT-IDS将主要任务分解为多个辅助任务，这些辅助任务沿着不同的特征维度进行，从而形成一个统一的多任务系统来优化各任务的检测性能。MT-IDS中采用了双控制分支路由门机制（DBR）来计算共享特征和任务特定特征的权重，从而实现更精确的专家选择和特征提取。此外，MT-IDS还引入了二维梯度平衡算法（DD-GB），通过调整梯度方向和动态缩放幅度来实现梯度平衡，同时保持任务间梯度特性的分布。MT-IDS在消融实验和比较实验中展现出的显著优势表明了其在多维医学图像分类问题中的潜在应用价值。

引言

肺癌是一种发病率和死亡率都很高的肿瘤（Hu等人，2021b）。肺腺癌的分期诊断是非小细胞肺癌（NSCLC）患者治疗结果和预后的关键临床因素之一。根据国际肺癌TNM分期系统（T代表肿瘤大小，N代表淋巴结转移，M代表远处转移）（Tsim等人，2010），淋巴结是否转移到不同的纵隔区域是确定肺腺癌患者分期的关键指标。手动诊断方法主要依赖于CT图像中淋巴结大小的评估来判断是否发生转移。然而，淋巴结肿大并不总是由恶性肿瘤引起的，未肿大的淋巴结也可能成为转移的载体（El-Sherief等人，2018）。这表明，在纵隔区域识别淋巴结转移的任务涉及许多未知特征，目前尚无基于医生视觉评估的统一诊断标准（de Sousa等人，2022）。此外，不同纵隔区域的形态特征和位置信息差异很大。对于临床医生来说，这带来了沉重的认知负担和高学习成本。幸运的是，对于智能诊断方法而言，这些差异成为了有效的学习线索（Sharma等人，2024；Wang等人，2025）。

在识别纵隔区域的转移性淋巴结时，需要从单张图像中提取两个维度的信息（Gao等人，2025）：图像代表的是哪个纵隔区域以及其中是否存在淋巴结转移。图1展示了同一张图像如何在三个不同的分类维度上提供不同的监督信号。第一行识别不同的纵隔区域，第二行判断是否发生淋巴结转移，第三行识别不同纵隔区域内淋巴结的转移状态。一般的图像分类方法通常是为自然图像识别设计的（Zhu等人，2024），它们在医学成像方面面临挑战，如高噪声水平和器官之间的显著结构相似性。特别是在从同一张图像中提取两个分类维度的细粒度特征时遇到困难，这导致各维度之间的信息相互干扰。因此，我们提出了一种多任务信息解耦策略（MT-IDS），通过任务分解和信息解耦来解决复杂的多维分类问题。具体来说，MT-IDS构建了一个多任务学习系统，其中纵隔淋巴结转移识别作为主要任务，而纵隔区域检测和淋巴结转移识别作为辅助任务。MT-IDS旨在在主要任务和辅助任务之间提供监督信号和共享知识，从而优化整个任务的识别过程。

我们观察到，在识别纵隔淋巴结转移及其相关辅助任务中，不同任务之间的特征具有显著的相似性。虽然这些相似特征可以作为跨任务的共享特征，但它们的相对重要性在不同任务中差异很大。因此，准确区分共享特征和任务特定特征，并为不同任务中的共享特征分配不同的权重至关重要。一些基于参数共享的多任务学习方法（Caruana等人，1993；Liu等人，2019；Misra等人，2016）过于依赖共享特征提取，而忽略了任务特定特征的建模。一些基于专家混合（MoE）模型的多任务学习方法（Hazimeh等人，2021；Ma等人，2018；Tang等人，2020）在门控机制中忽略了相似特征的权重分配，导致专家选择过程缺乏细粒度控制。此外，通过基线实验发现不同任务之间的性能存在显著差异，反映了任务间特征差异和数据分布特征的显著不同。鉴于纵隔淋巴结转移识别的复杂性，其性能明显低于其他两个任务。这在多任务学习系统中产生了较大的损失和梯度值，导致任务主导问题。因此，一个重要的挑战是如何在保持任务特定梯度分布的固有差异的同时，减轻潜在的冲突和任务主导问题。一些多任务梯度平衡方法试图通过修改梯度（Liu等人，2021b；Sener和Koltun，2018；Yu等人，2020）或平衡任务（Kendall等人，2018；Lin等人，2022）来确保损失收敛。然而，这些方法难以实现细粒度的、多视角的梯度调整，限制了它们适应不同任务梯度特征变化的能力。

基于上述发现，我们在MT-IDS中实施了以下关键设计：在特征提取阶段，采用了双控制分支路由门机制（DBR）来平衡任务之间的相关性和独立性。它包括一个特征路由分支和一个任务路由分支。特征路由分支提取整个图像的共享特征，包括颜色特征、强度特征和频域特征。任务路由分支根据任务标签信号提取任务特定特征。纵隔淋巴结转移识别任务的独特特征包括纵隔区域的形态特征和肺部环境信息。纵隔区域检测任务侧重于提取位置和边缘特征。淋巴结转移识别任务的独特特征在于淋巴结的结构、颜色和纹理特征。在梯度优化过程中，设计了二维梯度平衡算法（DD-GB），从方向和幅度两个方面优化任务间的梯度计算过程。这种方法减轻了梯度冲突和任务主导问题，使系统能够更好地适应任务特定特征差异和数据分布特征。

本研究的主要贡献如下：

•

提出了一种用于具有复杂分类维度的医学图像识别任务的多任务信息解耦策略。该方法将复杂的多维分类任务分解为多个辅助任务，并利用多任务协作来实现复杂分类过程的细粒度特征表示。它有效地减少了多维任务中不同分类维度之间的干扰。

•

提出了一种双控制分支路由门机制，通过特征路由分支和任务路由分支分别提取不同任务之间的相似特征和独特特征，平衡任务之间的相关性和差异。

•

设计了一种二维梯度平衡方法。该方法通过调整梯度方向和动态平衡幅度来优化多任务梯度，从而在保持任务间梯度特征分布的同时，有效解决梯度冲突和任务主导问题。

部分摘录

用于诊断淋巴结转移的特征提取方法。

纵隔区域内淋巴结转移的状态直接影响肺癌患者的TNM分期，进而影响治疗计划的选择和预后评估（Wang等人，2021）。一些研究人员利用机器学习方法从CT图像中提取放射组学特征来分类纵隔淋巴结转移（Cong等人，2020）。

方法

在本节中，我们首先介绍基于MMoE的多任务学习背景（Ma等人，2018），包括其基本组成部分和系统原理（第3.1节）。然后，第3.2节介绍了MT-IDS，它由两个关键组成部分组成：DBR机制和DD-GB算法。这两个组件的原理分别在3.2.1节和3.2.2节中描述。

实验数据和方法

本研究使用的数据集来自哈尔滨医科大学附属医院的非公开增强型肺腺癌CT图像，包含50名患者的3000张图像，所有输入图像的大小调整为512×512像素。三名具有医学资格且经验超过10年的医生根据患者的病理检查结果对数据进行了标注。主要任务是纵隔淋巴结转移识别，即判断上

结论

本研究提出了MT-IDS，以解决肺腺癌分期中纵隔区域淋巴结转移评估的关键需求。它建立了一个协作框架，以纵隔淋巴结转移识别为主要任务，纵隔区域检测和淋巴结转移识别作为辅助任务。这种多任务特征共享机制提高了主要任务的性能。MT-IDS采用了DBR机制

未引用的内容

CRediT作者贡献声明

周伟：撰写 – 审稿与编辑，撰写 – 原稿，可视化，验证，软件，方法论。谢依宁：撰写 – 审稿与编辑，监督，资源，项目管理，方法论，资金获取，概念化。王凤娇：资源，调查，数据管理。赵静：撰写 – 审稿与编辑，监督，方法论，调查，形式分析。马佳怡：撰写 – 审稿与编辑，可视化，验证，监督。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。