一种基于门控任务注意力机制的多任务网络，用于统一的视网膜图像分析

《Scientific Reports》：A gated task-attentive multi-task network for unified retinal image analysis

　　

摘要

糖尿病视网膜病变（DR）是全球可预防失明的主要原因之一，因此迫切需要准确的大规模筛查工具。目前大多数用于视网膜图像分析的深度学习方法都是分别处理诸如视盘分割和DR分级等任务。这种分离方式使得模型难以利用连接这两个任务的共同解剖结构和上下文线索。为此，我们提出了GTAM-Net（一种基于门控任务注意力的多任务网络）来进行视网膜图像分析。GTAM-Net在一个端到端的网络中同时完成视盘分割和DR严重程度分级。在该网络中，一个门控任务注意力模块负责决定每一层特征如何在两个任务之间进行共享。通过这种方式，网络既能保留每个任务所需的有用互补信息，又能避免多任务模型中常见的负面迁移现象。此外，我们还使用了多尺度特征金字塔来保持层次化的上下文信息，并采用基于不确定性的损失加权机制，以防止某个任务在训练过程中占据主导地位。该方法已在五个公开数据集（IDRiD、DDR、Messidor-2、APTOS和REFUGE）上进行了测试：在视盘分割任务中，模型的Dice得分达到了98.17%，在DR分级任务中的准确率为99.12%，在所有测试数据集上的表现均具有竞争力。跨数据集测试也表明，即使在成像条件变化的情况下，该模型的稳定性也相当好。综上所述，这种多任务设计是一种实用且相对稳定的联合视网膜图像分析方法，可以考虑将其应用于大规模筛查流程中。