编辑推荐：
提出MAG-Net，首个统一的多任务图像超分辨率框架，通过多模态提示生成和混合专家路由模块解决异构模态与任务冲突问题，支持全色锐化、MRI图像超分辨率等场景，实验验证其优于现有方法。
王婷婷|王俊|严秋海|张俊康|方法明|张桂旭
华东师范大学计算机科学与技术学院，中国上海 200062
摘要
引导式图像超分辨率（GISR）旨在通过利用高分辨率（HR）引导图像的互补信息来提高低分辨率（LR）目标图像的分辨率。然而，由于GISR子任务之间的模态多样性很大，大多数现有方法都是针对特定子任务量身定制的，这严重限制了它们的通用性和实际可扩展性。为了解决这一限制，我们提出了MAG-Net，这是第一个能够在一个统一模型中处理多个GISR子任务的全能GISR框架。MAG-Net基于一个共享的编码器-解码器框架，并集成了两个关键模块来处理异构输入模态和多样化的任务目标。多模态提示生成模块（MPGM）通过联合编码输入图像对和预定义的文本任务描述来动态生成任务感知的提示。这些提示作为软指令，有效捕捉了视觉特征和纹理线索，从而使模型能够适应性地区分和响应不同的GISR子任务。多引导路由模块（MGRM）旨在减轻任务干扰并增强特征专业化。该模块利用专家混合（MoE）策略，根据任务感知的提示和引导图像的特性，动态地将中间特征路由到相关的专家分支中。在各种GISR子任务上的广泛实验表明，MAG-Net在全能训练和逐个训练设置中均取得了最先进的性能。代码和预训练模型将在论文被接受后发布。
引言
图像超分辨率（SR）是指从低分辨率（LR）图像重建高分辨率（HR）图像的任务，旨在提高视觉质量并恢复细粒度结构细节。在SR的更广泛范围内，一种称为引导式图像超分辨率（GISR）的专门类别受到了越来越多的关注。与仅依赖于退化输入的传统单图像SR不同，GISR引入了一个来自不同模态的辅助HR图像来指导SR过程。这个引导图像通常被称为先验信息或辅助线索，提供了互补的结构或上下文信息，从而促进了更准确和详细的重建。通过利用这种额外的引导，GISR有效地缓解了SR任务的病态性质，并显著提高了重建结果的保真度。引导图像可以以多种形式出现，例如约束、先验或参考图像，使模型能够智能地推断出仅从LR输入中难以恢复的高频成分。
GISR框架下的典型子任务包括融合增强[1]、[2]、多对比度磁共振（MR）图像SR[3]、[4]以及由相应RGB图像引导的深度图像SR[5]。例如，融合增强利用HR全色（PAN）图像来指导LR多光谱（LRMS）图像的增强，有效克服了卫星成像系统中通常遇到的空间-光谱分辨率权衡问题。在深度图像SR中，HR RGB图像提供了精细的纹理和边缘信息，以指导LR深度图像的增强，从而更精确地恢复几何结构并提高视觉连贯性。对于MR图像SR，使用辅助对比度图像的引导来提高目标MR图像中特定对比度的分辨率，从而在医学成像场景中增强了诊断价值和解剖清晰度。
近年来，基于深度学习的GISR受到了广泛关注。基于卷积神经网络（CNNs）[6]和Transformer的方法发展迅速。值得注意的是，先进的Transformer架构已成功应用于遥感图像超分辨率，引入了基于窗口的自注意力[7]、尺度感知的反投影[8]和跨阶段特征融合[9]、[10]等机制。此外，还不断引入了基于Diffusion[2]和Mamba[1]的模型。然而，由于GISR各个子任务之间存在显著的跨任务差距（例如，图像模态和应用场景的变化），绝大多数方法仅关注一个特定的子任务，导致形成了特定于任务的网络和损失函数，如图1(a)所示。这种碎片化的格局导致了“每个任务一个模型”的范式，从而产生了高昂的部署冗余和计算成本，因为必须为每个特定的应用场景训练和存储一个新的模型。尽管一些方法尝试设计可以应用于多个GISR子任务的模型[11]，但它们仍然需要为不同的子任务训练单独的模型，未能真正利用跨任务的共享表示。这一困境激励我们开发了一个统一的全能GISR框架，该框架不仅参数效率高，而且能够动态适应多样的SR场景。
最近，全能框架的概念在图像恢复（IR）领域获得了显著关注，越来越多的研究正在探索这一方向[12]、[13]。这些框架旨在使用单一的统一模型来解决多种IR任务，如图像去雾、去噪和去雨。然而，将这些框架直接移植到GISR并非易事。与通常在一致模态（例如RGB）内处理输入的一般IR任务不同，GISR从根本上依赖于来自不同物理传感器（例如深度传感器、MRI扫描仪或多光谱卫星）的异构引导图像。这些模态之间的异质性引入了巨大的领域差距，使得设计一个能够在不同GISR子任务之间泛化的单一网络变得更加具有挑战性。
为了实证这一挑战，我们使用了一个标准的编码器-解码器框架来独立执行几个GISR子任务。该网络接受上采样的LR目标图像及其对应的HR引导图像作为输入，并输出SR目标图像。如图2所示，我们分析了编码器阶段选定通道中特征图的L2范数分布。结果表明，来自不同GISR子任务的特征激活具有高度的特定于任务的变异性，表明从不同GISR子任务提取的特征表现出显著的独立性。这一观察结果证实，简单地训练一个共享的框架会导致严重的“负面迁移”或任务干扰，即网络难以协调不同模态所需的冲突特征模式。因此，一个统一的GISR框架必须解决两个核心挑战：(a) 如何有效地构建任务感知的表示来弥合模态差距；(b) 如何在单一网络架构内动态路由特征以减轻或消除不同GISR子任务之间的负面干扰。
为了解决上述挑战，我们提出了一个新颖的统一GISR框架MAG-Net，如图1(b)所示。MAG-Net是第一个在单一灵活架构中有效集成多个GISR子任务（包括融合增强、MR图像SR和深度图像SR）的全能GISR模型。MAG-Net的核心是一个共享的编码器-解码器框架，我们在此基础上设计了两个关键模块：多模态提示生成模块（MPGM）和多引导路由模块（MGRM）。MPGM通过联合编码输入图像对和包含任务特定描述的预定义文本引导来动态生成任务感知的多模态提示。这些提示作为隐式指令，编码了输入图像和任务描述中的视觉特征和文本信息。通过桥接图像和文本模态，提示有助于消除任务特定的目标并抑制跨任务干扰，从而在统一模型内实现有效的任务区分。为了进一步利用MPGM编码的引导信息，我们提出了MGRM，该模块采用了专家混合（MoE）机制。该模块根据引导输入的特性动态地将中间特征路由到专门的专家分支中。这使得MAG-Net能够选择性地激活和利用每个任务最相关的知识，确保了通用性和专业化。
我们提出方法的主要贡献如下。
1.统一的全能GISR框架：我们提出了第一个能够适应多种GISR子任务的统一架构。通过弥合模态和任务差距，MAG-Net为跨域引导SR提供了一个通用的解决方案。
2.新颖的任务感知引导机制：我们的设计结合了多模态提示生成和通过MoE的自适应特征路由，实现了精确的、特定于任务的特征增强。
3.广泛的评估和最先进的成果：我们在代表性的GISR基准测试上进行了全面实验，证明了MAG-Net的性能始终优于现有方法。
部分摘录
引导式图像超分辨率
与SISR相比，GISR通过从HR引导图像传输结构信息来提高LR目标图像的分辨率。随着深度学习在计算机视觉中的应用，CNNs越来越多地被应用于GISR。例如，Lu等人[14]提出了一个多尺度自注意力网络（MSAN）用于高质量融合增强，该网络增强了特征集成和光谱-空间保留。Miao等人[15]提出了
提出的方法
为了系统而全面地介绍我们提出的方法，我们首先介绍了整体流程，然后详细解释了两个高效模块：MPGM和MGRM。
实验
为了验证所提出的MAG-Net的有效性，我们从定量和定性的角度对三个常见的GISR子任务（即融合增强、深度图像SR和MR图像SR）进行了全面实验。
结论与局限性
在本文中，我们提出了MAG-Net——第一个将多个GISR子任务统一到一个连贯框架中的全能引导式图像超分辨率（GISR）模型。其关键优势在于两个核心模块：多模态提示生成模块（MPGM）通过输入图像对和文本描述动态生成任务感知的提示，而多引导路由模块（MGRM）使用专家混合（MoE）根据引导类型自适应地路由特征。这些设计使得
CRediT作者贡献声明
王婷婷：撰写 – 审稿与编辑，撰写 – 原始草稿，方法论，资金获取，概念化。王俊：撰写 – 原始草稿，方法论，调查。严秋海：验证，方法论。张俊康：撰写 – 审稿与编辑，形式分析，数据管理。方法明：撰写 – 审稿与编辑，监督，形式分析。张桂旭：可视化，监督。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争财务利益或个人关系。
致谢
本工作部分得到了中国国家自然科学基金（项目编号62202173）的支持。
我们感谢使用AI辅助写作工具，特别是ChatGPT和Gemini，来润色本手稿中的英文表达。作者在使用这些工具后审查和编辑了内容，并对最终出版物的内容负全责。
