DELNet：通过动态专家库实现持续、全方位的天气数据清除功能

《Image and Vision Computing》：DELNet: Continuous all-in-one weather removal via dynamic expert library

提出DELNet+持续学习框架，通过动态专家库和路由机制实现恶劣天气图像修复的持续优化，解决传统静态方法数据覆盖不全、模型切换成本高及记忆存储计算开销大等问题，有效抑制灾难性遗忘并提升多天气场景处理能力。

　　

刘世宏|左坤|肖汉光

重庆理工大学人工智能学院，中国重庆401135

摘要

静态集成天气图像恢复方法因其实用价值而受到了广泛关注。然而，这些方法依赖于预先收集的数据，无法适应未见过的任务。它们需要针对新场景进行重新训练，从而增加了成本。我们提出了改进的DELNet+，这是一种用于天气图像恢复的持续学习框架。DELNet+具有更高效的特征增强模块和更高效的路由机制，并引入了判断阀和动态专家库。判断阀通过使用提取的特征计算任务相似性来确定任务是新的还是旧的。动态专家库存储了为不同天气退化场景训练的专家。对于新任务，判断阀通过路由机制选择来自旧任务的top k个专家进行知识转移，并添加新专家以学习任务特定的差异。对于旧任务，系统直接路由到现有专家。这种设计使得无需重建现有模型即可实现持续优化。实验表明，DELNet+在多个数据集上的表现优于现有的持续学习方法，并且在多天气图像恢复方面有效且鲁棒。

引言

近年来，恶劣天气图像恢复方法取得了显著进展，从早期的单一退化处理方法（如降雨去除[1]、[2]、[3]、雾去除[4]、[5]、[6]、雪去除[7]、[8]、低光照[9]、[10]、超分辨率[11]和去噪[12]）发展到能够处理各种类型退化的综合网络[13]、[14]、[15]、[16]。然而，这些综合方法面临几个不可避免的挑战。首先，它们需要大量的预训练数据。尽管包含多种天气类型可以提高适应性，但现实世界条件仍然不可预测，预收集的数据无法涵盖所有场景。其次，当前的统一天气图像处理架构通常遵循两种方法：如图1(a)所示，使用特定的编码器和解码器对；或者如图1(b)所示，使用统一的编码器和解码器。前者由于频繁切换而增加了操作复杂性，而后者由于无法很好地处理不同天气类型之间的差异而性能下降。更重要的是，这两种模型都缺乏持续学习的能力，也没有考虑不同天气领域之间的相互作用。因此，现有的静态方法在不可预测的环境中（如自动驾驶[17]和户外军事侦察[18]）仍显不足。

与静态范式学习不同，动态持续学习过程[19]具有显著优势。这些方法使网络能够在面对未知天气条件时不断适应新任务，同时保持强大的性能。这种适应性满足了实际应用的基本要求。然而，持续学习不可避免地会遇到灾难性遗忘问题：在获取新知识时，模型往往会忘记大量先前学到的信息，导致性能大幅下降。为了解决这个问题，Cheng等人[20]提出了一个持续学习框架，如图1(c)所示。该框架在统一架构中结合了知识回放和记忆存储，以保留部分来自先前任务的训练数据。当引入新任务时，存储在记忆中的数据会进行重新训练，从而缓解遗忘问题，同时动态去除恶劣天气的影响。然而，这种方法牺牲了计算效率并增加了内存需求。每次训练新任务时，都必须重新训练内存中的旧知识，这会产生巨大的计算开销。此外，存储在内存中的数据来自有限的随机样本子集，不足以捕捉天气条件的全部多样性。此外，用于特征降维的主成分投影可能会丢弃关键信息和关键特征，从而影响恢复质量。

总之，现有方法存在几个显著的限制：(i) 尽管有大量的数据集可用，但对所有潜在未知天气条件的覆盖仍然不足；(ii) 静态方法受到任务间干扰和高模型切换成本的限制，需要为新任务完全重新学习；(iii) 基于记忆的持续学习方法会产生巨大的计算开销，并且只能捕获有限的关键特征集。与受未知环境限制的静态方法不同，我们提出了一个带有动态专家库的新统一框架，以实现恶劣天气图像恢复中的持续学习。如图1(d)所示，我们的架构主要利用判断阀和动态专家库来实现持续学习和适应未知环境。在我们之前发表在ICASSP上的论文[21]中，我们提出了DELNet+持续学习框架。本文的主要贡献总结如下：

• 我们提出了一种名为动态专家库网络（DELNet+）的新持续学习框架，它集成了先进的特征增强网络、判断阀和动态专家库，与静态图像恢复方法相比具有持续学习能力。
• 我们的判断阀通过比较任务相似性和动态阈值来区分新任务和旧任务，选择性地激活相关专家以实现高效的路由和图像恢复。
• 动态专家库通过在添加新专家时冻结旧专家的知识来解决持续学习中的知识遗忘问题。

章节片段

使用静态方法的天气图像恢复

在恶劣天气图像恢复领域存在两种不同的方法。第一种方法采用早期的图像恢复技术，专注于特定的天气现象，包括去除降雨、雪、雾等条件的方法。第二种方法利用最近开发的综合模型，能够同时处理多种天气条件。

单一天气去除。 在本节中，我们介绍了与天气相关的代表性图像恢复方法

研究目标

本工作的目标是去除恶劣环境中的天气退化现象。同时，它旨在减少持续学习中的灾难性遗忘。为此，我们设计了一个统一的网络架构。在此过程中，我们首先按顺序对训练任务进行编号，表示为

数据集和实验设置

数据集。我们采用了CLAIO [20]中的相同数据集设置。我们总结了这项任务常用的数据集，如表1所示。在我们的实验中，与使用Allweather综合数据集的静态学习方法不同，我们主要使用了三个数据集：OTS [55]、Rain100H [60]和Snow100K [58]。我们将这些图像分为三个独立的任务进行处理，分别对应我们研究中涉及的三种恶劣天气条件。

结论

本研究提出了一种基于动态专家库的恶劣天气综合持续学习网络。其目的是解决传统图像恢复方法在面对未知环境时的局限性，并减轻灾难性遗忘问题。通过采用增强的特征提取组件和改进的、高效的动态专家调用机制，我们的方法使模型能够在各种恶劣天气条件下适应并保持持续学习

CRediT作者贡献声明

刘世宏：撰写 – 审稿与编辑、撰写 – 原始草案、软件、方法论、形式分析、数据管理。左坤：软件、资源、项目管理、方法论、调查。肖汉光：验证、监督、资源、方法论。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金（项目编号：62471075）、重庆“基于招标的系统”产业与信息技术领域项目计划（项目编号：YJX2025-001001002）、重庆市自然科学基金（项目编号：CSTB2024NSCQ-LZX0080、CSTB2023TI AD-STX0020、CSTB2025NSCQ-LZX0115、CSTB2023NSCQ-LZX0068、CSTB2022NSCQ-MSX0837）的支持。本研究不涉及任何伦理问题。