EchoSR：用于轻量级图像超分辨率处理的高效上下文利用技术

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：EchoSR: Efficient Context Harnessing for Lightweight Image Super-Resolution

　　

赵汉立 | 王炳浩 | 赵世豪 | 王涛 | 张凯浩 | 陆王龙

温州大学计算机科学与人工智能学院，中国温州，325000

摘要

图像超分辨率（SR）旨在从低分辨率（LR）输入重建高质量、高分辨率（HR）图像，在各种下游应用中发挥着关键作用。尽管最近取得了进展，但在资源受限的情境下，平衡重建保真度和计算效率仍然是一个根本性挑战。尽管现有的轻量级方法试图扩大感受野范围，但许多方法要么会产生大量的计算开销，要么简单地增加核大小，要么缺乏连贯的多尺度整合机制，从而限制了它们的整体效率和可扩展性。为了解决这些局限性，我们提出了EchoSR，这是一个高效利用上下文的轻量级图像超分辨率框架，它将多尺度感受野建模和分层上下文融合统一起来。EchoSR通过一种高效的上下文利用策略，将特征学习分解为独立的局部、多尺度和全局建模阶段，并通过跨尺度重叠融合机制进一步促进无缝的跨尺度整合。广泛的实验表明，EchoSR在多个基准测试中的表现始终优于最先进的轻量级超分辨率方法，同时实现了更快的速度（约2倍）。源代码可在以下链接获取：https://github.com/funnyWang-EchoES/EchoSR。

引言

图像超分辨率（SR）作为计算机视觉中的一个基本任务，旨在从低分辨率（LR）输入重建高质量和高分辨率（HR）图像。随着超高清显示设备和移动应用的快速发展，SR技术在多个领域展示了显著的价值，包括医学成像[1]、[2]、视频监控[3]、卫星遥感[4]、[5]以及图像编辑[6]、[7]。然而，在资源受限的情境下，如何在重建质量和计算效率之间达到最佳平衡仍然是一个关键挑战。

轻量级SR的一个核心难点在于需要在感受野扩展和计算成本之间取得平衡。卷积神经网络（CNN）虽然在捕捉局部模式方面很有效，但在不大幅增加模型深度的情况下，往往难以建模长距离依赖关系[8]、[9]、[10]。相反，一些基于Transformer的方法在全局上下文建模方面表现出色，但可能会遇到二次方的计算复杂性[11]、[12]、[14]。最近，状态空间模型（SSM），以Mamba[15]为代表，作为自注意力的高效替代方案出现，提供了线性的计算复杂性。然而，它们固有的序列性质对高保真度SR提出了挑战[16]、[17]。正如MaIR[17]指出的，将2D图像扁平化为1D序列会破坏视觉数据固有的局部性和连续性，需要额外的设计来弥补这种损失。此外，逐像素聚合忽略了不同扫描路径之间的不同上下文，从而阻碍了重建细节所需的关键多尺度空间相关的利用。

如图1（顶部）所示，我们可视化了来自CNN、Transformer和Mamba架构的代表性方法的有效感受野（ERF）。EDSR[9]专注于局部感受野，而SwinIR[11]、MambaIR[16]展示了较大的感受野，尽管它们在离中心较远的区域覆盖范围仍然有限。此外，它们的计算效率仍然是一个挑战，特别是在资源受限的环境中部署时。因此，我们探索了一种新的方法来平衡计算效率和大感受野范围，最终提升了超分辨率性能。

为了解决这一挑战，最近的研究尝试通过使用大核设计来扩大卷积感受野，作为折中解决方案[18]、[19]。然而，这些方法主要依赖于使用小核（例如3×3或5×5）的稀疏采样，这通常会受到网格效应的影响[20]，并且缺乏跨不同尺度深度融合信息的明确机制。为了更好地捕捉局部细节和全局结构信息，我们进一步研究了多尺度核对特征提取的影响。如图1（底部）所示，较大的核可以有效捕捉全局和结构模式，而较小的核则擅长捕捉局部细节。这些发现表明，直接使用超大核（高达17×17）可以作为密集的结构锚点。结合高效的深度实现和多分支通道分割策略，这种设计为在低计算开销的情况下实现广泛的感受野提供了有希望的途径。为了补充多尺度结构扩展，我们引入了一个轻量级的全球上下文分支。认识到池化操作可以有效地捕捉广泛的空间特征，并且计算开销可以忽略不计[21]，这个分支充当了一个高效的全局特征调制器，提供了必要的结构先验，而无需标准自注意力的参数负担。

为此，我们提出了EchoSR，这是一个高效的利用上下文的轻量级图像超分辨率框架，其中分层信息融合是核心架构理念。EchoSR将学习过程分解为独立的局部、多尺度和全局建模阶段。认识到这些解耦特征的互补性，我们引入了一种简洁而有效的连接策略。具体来说，来自不同视角的特征通过通道级连接进行集成，然后通过前馈网络（FFN）作为深度特征混合器，促进各分支之间的动态协调和重新校准。其次，跨尺度的有效信息传播对于保持上下文连续性至关重要；因此，我们在EchoSR中引入了一种跨尺度重叠融合机制，促进了尺度之间的逐步过渡，确保在整个特征学习过程中细粒度细节和高级结构之间的和谐整合。

基于这两个原则，我们首先引入了一种高效的上下文利用策略，将学习过程分解为独立的局部、多尺度和全局建模阶段：（1）局部聚合（LA）通过平衡的通道扩展和分组卷积来增强细粒度表示，确保局部细节的有效保留；（2）多尺度感受野扩展（MRFE）通过并行的大核深度卷积捕捉不同尺度的空间结构，使模型能够根据特征复杂性灵活调整其感受野；（3）全局上下文先验（GCP）通过使用轻量级的下采样-卷积-上采样操作提供结构先验。其次，我们引入了跨尺度重叠融合块（COFB）以促进系统化的跨尺度融合。通过级联大核操作构建重叠的感受野，COFB通过对齐不同空间层次的特征来实现空间结构的修正。这种机制确保了尺度之间的逐步和连贯的过渡，使得细粒度细节和宏观结构在整个特征学习过程中得到和谐整合和融合。

通过在统一框架下协调分层特征提取和无缝的跨尺度融合，EchoSR有效协调了空间层次之间的表示依赖性。广泛的实验表明，EchoSR实现了高保真的超分辨率，并显著降低了计算成本，如图2所示。本文的贡献可以总结如下：

• •
  我们提出了EchoSR，这是一个高效的利用上下文的框架，通过分层和重叠的上下文建模策略统一了细粒度细节增强和全局结构融合。
• •
  我们设计了一种高效的上下文利用机制，包括局部聚合、多尺度感受野扩展和全局上下文先验，以实现动态适应空间特征多样性。
• •
  我们引入了一种上下文重叠融合策略，以确保跨尺度之间的无缝连续性，促进全面的特征整合并减轻多尺度不连续性。
• •
  在多个基准测试中的广泛实验表明，EchoSR始终超越了最先进的（SOTA）轻量级SR方法，为实际的超分辨率应用提供了高效和可扩展的解决方案。

章节片段

图像超分辨率

卷积神经网络（CNN）最初被用于解决深度学习中的图像超分辨率问题。SRCNN率先使用简单的3层卷积网络在HR和LR图像之间进行映射，超越了传统的插值方法。后续基于CNN的方法对SRCNN进行了改进和扩展。VDSR[22]和EDSR[9]利用残差学习构建了更深的网络。然而，这些方法本质上依赖于CNN的归纳偏见，专注于学习局部特征。最近，一些

概述

我们的EchoSR将学习过程分解为三个互补的视角：局部、多尺度和全局。基于这一原则，我们设计了一个上下文利用块（CHB），该块：（1）通过局部聚合（LA）充分利用局部信息，（2）通过多尺度感受野扩展（MRFE）捕捉不同尺度的空间结构，以及（3）通过全局上下文先验（GCP）利用长距离依赖关系。为了促进跨尺度的连贯整合，我们引入了

实验设置

数据集。为了进行全面和公平的比较，我们遵循既定实践[11]、[16]，分别使用了DIV2K[39]和DF2K（包括Flickr2K[40]和DIV2K）数据集进行训练。DIV2K包含800张高分辨率图像，Flicker2K包含2650张图像在训练集中。LR图像是通过将HR图像应用双三次下采样生成的。我们在标准的SR基准数据集Set5、Set14、B100上评估了我们方法的性能。

结论

我们提出了一个新颖的高效上下文利用框架（EchoSR），用于轻量级超分辨率，实现了高效和准确的重建，在效率和保真度方面都超过了之前的方法。我们提出的上下文利用块有效地捕获了深度特征，多个简洁而有效的组件促进了高效的信息流。跨尺度重叠融合块在全局和局部信息的融合之间实现了微妙的平衡

CRediT作者贡献声明

赵汉立：概念化、方法论、写作——原始草稿、写作——审阅和编辑。王炳浩：概念化、方法论、软件、数据整理、写作——原始草稿。赵世豪：软件、形式分析、写作——原始草稿。王涛：概念化、写作——审阅和编辑。张凯浩：概念化、写作——审阅和编辑。陆王龙：概念化、方法论、写作——审阅和编辑。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。