用于自监督盲图像超分辨率的退化分解学习

《Pattern Recognition》：Degradation Decomposition Learning for Self-supervised Blind Image Super-resolution

单图像超分辨率（SISR）面临未知退化场景适应性不足的问题。本文提出基于退化分解的自监督盲SR框架，通过将未知退化LR图像分解为已知退化LR图像、退化差异和差异感知滤波器，结合自监督训练实现模型迁移。该方法利用广义采样定理，无需精确退化估计，通过分解网络（DDN）提取监督信号，有效适配复杂未知退化场景。实验表明，该方法在合成数据与真实图像上均优于当前SOTA方法。

　　

Hongyang Zhou|Xiaobin Zhu|Liuling Chen|Xiaoxing Zhang|Jingyan Qin|Xu-cheng Yin

北京科技大学，北京，100083，中国

摘要

现有的图像超分辨率（SR）方法通常依赖于对真实世界退化的隐式或显式估计，然而当训练过程中未观察到低分辨率（LR）退化时，它们的性能会显著下降。受到广义采样理论的启发，一些方法试图通过将LR图像映射到已知的退化情况来提高适应性。然而，它们的有效性受到不准确退化估计的限制。为了克服这一限制，我们提出了一种基于新型退化分解策略的自适应盲超分辨率（SR）框架。我们的方法不是直接估计退化，而是将未知退化的LR输入分解为已知的退化LR图像、退化差异和差异感知滤波器。已知的退化LR图像与使用已知退化数据进行零样本训练的图像特定SR模型对齐，而退化差异和差异感知滤波器作为约束条件来促进分解。为此，我们设计了一个退化分解网络（DDN），该网络利用分解后的组件作为监督信号进行自监督训练。这种设计使我们的方法能够在不需要显式退化估计的情况下，有效地将未知退化的LR图像适应到图像特定的SR模型中。在合成数据集和真实世界图像上的广泛实验证明了我们方法的优越性能。

引言

单图像超分辨率（SISR）旨在从其LR对应图像重建出逼真的HR图像。作为一项基本的低级视觉任务，SISR引起了广泛的研究兴趣。最近，基于深度学习的多种SISR方法[1]、[2]、[3]取得了有希望的性能[4]、[5]。大多数现有的SISR方法使用固定的退化来模拟HR图像的LR图像，以构建训练和测试图像。然而，实际场景中的退化是复杂的且不可用的。

具有未知退化的SR问题被称为盲SR。许多方法通过显式或隐式退化建模来解决这个问题。具有显式建模的盲SR方法[6]、[7]、[8]通常将退化信息作为额外输入用于图像特定适应，或尝试在SR过程中估计退化核[9]、[10]、[11]。盲SR方法[12]、[13]试图从未配对的真实图像数据中隐式学习潜在的退化。大多数盲SR方法基于大量根据预设退化模型合成的LR/HR图像对来学习统一的超分辨率器。然而，它们很难处理超出其建模范围的LR输入。

为了提高对未知复杂退化的适应性，无监督SR方法[14]、[15]、[16]受到了越来越多的关注。一些方法[17]、[18]通过GANs从每个输入的LR图像中估计退化核。正如[19]所描述的，基于GAN的方法通常会产生不自然的伪影并引入几何失真，使得学习理想的退化核变得困难。BSRDM[20]采用SR和LR图像之间的迭代近似策略来学习退化。然而，迭代近似策略的约束能力有限，找到满意的解空间效率低下。基于广义采样定理，Correction_Filter[15]和DARSR[16]验证了修改LR输入以匹配预训练的SR模型是有效的。然而，Correction(Filter[15])依赖于准确的退化核来修改LR输入，但它们的近似策略经常失败。DARSR[16]隐式学习了LR输入的退化，但仍受GAN特性的限制。此外，这些方法在很大程度上取决于在外部数据集上预训练的SR模型的能力。

受到广义采样文献的启发，我们提出了一种创新的退化分解策略，用于盲SR而不是退化估计。我们的方法旨在通过内部学习，基于已知退化来提高以零样本方式训练的SR模型的适应性。具体来说，我们提出了一种创新的自监督盲SR方法，通过我们的DDN将未知退化的LR图像分解为已知的退化LR图像，以适应我们的SR模型。我们的方法如图1所示。我们使用DDN将LR输入分解为退化差异、退化感知滤波器和适应我们SR模型的已知退化LR图像。退化差异和差异感知滤波器有助于分析未知图像的退化特性，并负责约束以减少分解难度。此外，DNN的分解输出监督自监督训练。通过这种方式，我们的方法不限于特定的数据集进行训练，并且对未知图像上的复杂退化具有强大的适应性。

总之，我们的主要贡献有四个方面：

1. 我们提出了一种新的自监督盲SR方法，以零样本方式显著提高了在盲场景中的适应性。
2. 基于广义采样定理，我们提出了一种新的退化分解策略，而不是退化估计，以纠正退化差距。
3. 我们提出了一种新的退化分解网络（DDN），使用多个输出分解变量作为自监督训练的监督项。
4. 在合成数据集和真实世界图像上的广泛实验表明，我们的方法在性能上优于监督和无监督的最先进（SOTA）方法。

非盲SR

自从Chao等人[1]首次提出具有三层CNN的SRCNN以来，基于CNN的SR方法取得了显著进展。随后，随着残差学习[21]的引入，设计了许多更深更复杂的网络[2]、[22]。此外，一些基于注意力机制的方法[23]、[24]被提出来捕获更多信息特征。然后，基于Transformer的SR方法[3]、[25]不断提高了SISR的性能。最近，MambaIR[26]、[27]进一步

概述

如图2和算法1所示，我们的方法主要由一个退化分解网络（DDN）和一个SR网络组成。首先，DDN会将输入的未知退化图像

${\mathrm{I\_u}}_{\mathrm{LR}}^{}$ 分解为具有与SR网络训练相同退化的已知退化图像 ${\mathrm{I\_k}}_{\mathrm{LR}}^{}$ ，以及退化差异和差异感知滤波器。然后，我们使用SR模型对 ${\mathrm{I\_k}}_{\mathrm{LR}}^{}$ 进行超分辨率处理，得到SR图像I^SR。我们的网络以自监督方式进行训练。我们首先

实验细节

我们通过每次迭代16个批次来训练我们的方法，这些批次由从LR输入生成的成对补丁组成。数据增强包括随机旋转90度、180度和270度以及水平翻转。迭代次数设置为3000次，优化器是Adam（ $\beta 1$ $\beta 0.999$ ）。初始学习率为 ${10}^{?4}$ ，每1000次迭代后衰减0.5。我们在NVIDIA Geforce RTX 3090 GPU上使用PyTorch1.12.0进行实验。我们使用PSNR和SSIM作为评估指标。

局限性

我们方法的第一个局限性是当前版本的方法没有良好的去噪能力。我们在训练过程中实现了Noise2Noise[55]去噪方法，这为我们的方法提供了一定程度的去噪能力。然而，该方法可以去除的噪声类型是有限的，无法有效处理真实场景中的复杂噪声。我们还需要考虑到去噪是一项非常具有挑战性的任务

结论

在本文中，我们提出了一种基于新型退化分解策略的自监督盲超分辨率框架，该框架可以在不显式估计退化的情况下适应未知的退化。通过将LR输入分解为与图像特定SR模型兼容的退化相关组件，所提出的方法提高了对未见退化的鲁棒性，同时避免了对大型外部训练数据集的依赖。广泛的实验表明

CRediT作者贡献声明

Hongyang Zhou：写作——审稿与编辑，写作——原始草稿，可视化，验证，调查，数据管理。

Xiaobin Zhu：监督，资源，项目管理，方法论，资金获取，形式分析，数据管理。 Liuling Chen：可视化，验证，调查，形式分析，数据管理。 Xiaoxing Zhang：软件，资源，项目管理。 Jingyan Qin：监督，资源，项目管理，方法论，资金获取。

利益冲突声明

我们声明与提交的工作没有任何商业或关联利益冲突。

致谢

该研究得到了国家科学技术重大项目（2022 -ZD0119204）、国家杰出青年科学基金（62125601）和国家自然科学基金（62576031）的支持。