编辑推荐：
图像去噪中提出冻结预训练编码器仅更新解码器参数的训练策略，实验表明该方法有效扩展输入像素影响范围并过滤高频噪声，提升模型泛化能力。
Jie Zhang|Junda Li|Liang Feng|Beini Zhang|Xiao Luo|Weijia Wen
香港科技大学（广州）先进材料研究组，中国广州，51140
摘要
图像去噪是深度学习领域中一个关键且复杂的任务，而泛化能力的挑战对许多去噪算法来说是一个重大难题，尤其是在面对分布外（OOD）噪声时。模型的泛化性能在很大程度上取决于三个因素：模型架构设计、数据集构成以及精心设计的训练方法。尽管前两个因素一直是研究的重点，但在训练方法的探索方面仍存在显著差距。在本文中，我们提出了一种简单高效的训练策略来提升去噪算法的泛化能力。具体来说，我们建议在训练过程中冻结编码器的预训练参数，同时更新解码器的参数。实验结果证实，尽管该方法简单，但在处理各种类型的噪声时仍能取得更好的去噪效果。这证明了我们的训练策略在增强网络泛化能力方面的有效性。据我们所知，我们是首次证明在训练过程中冻结编码器的预训练参数不仅能够扩大对去噪结果有显著影响的输入像素范围，还能有效过滤高频噪声信号。
引言
图像去噪是计算机视觉中的一个基本且重要的任务。例如，消除图像噪声对于提高后续分析的准确性和可靠性至关重要，包括目标检测任务（Luo等人，2024b；Luo等人，2024a）。随着能够有效提取重要特征的网络结构（如自注意力模块）的引入（Vaswani和Shazeer，2017；Zamir和Arora，2022），图像去噪技术得到了显著改进。然而，去噪算法在面对多种噪声数据时往往难以取得满意的结果。模型泛化性能在很大程度上取决于三个因素：模型架构设计、数据集构成以及精心设计的训练方法。研究人员一直在致力于开发新的、有效的模型结构（Zhuge等人，2023）。例如，Tian等人（2021）提出了一个由四个模块组成的双重去噪网络（DudeNet），该网络将去噪任务分解为更小的子任务，从而更有效地恢复细节。传统的神经网络主要关注图像的像素级差异，忽视了对整体图像内容的评估，常常导致边缘信息过度平滑。为了解决这个问题，研究人员提出了一些基于GAN的去噪模型（Goodfellow等人，2014），并引入了对抗损失和感知距离损失等损失函数来增强真实感与图像的一致性（Tran等人，2020；Vo等人，2021；Kim等人，2019）。数据增强是一种常见的提高网络泛化能力的方法。例如，研究人员会在数据集中添加一些噪声以增强网络的泛化能力（Wang等人，2021；Zhang等人，2022b）。Yan等人（2022）提出了一种新的对抗性攻击方法，他们使用对抗性和非对抗性噪声数据共同训练去噪算法。
关于训练方法改进的研究相对有限。目前，两种主要的方法是从零开始训练和微调参数。在我们的研究中，我们提出了一种简单高效的训练方法，旨在提升去噪算法的泛化能力和去噪效果。具体来说，我们将去噪算法分为两个部分：负责特征提取的编码器和整合这些特征的解码器。网络架构基于U-net构建。在训练阶段，我们冻结编码器的预训练参数，同时正常更新解码器的参数。尽管仅使用高斯噪声进行训练，我们的去噪模型在处理各种常见噪声类型时仍表现出稳健的性能。
为什么冻结编码器的预训练参数能提升网络去噪性能？我们的实验表明，即使在相同的网络结构下，冻结预训练参数的方法也能显著扩大参与去噪的输入像素范围，并有效过滤高频噪声信号，从而提升去噪能力。本文的贡献如下：
(1)我们提出了一种简单但有效的训练策略，以提升去噪算法的泛化能力和去噪效果。实验结果表明，所提出的去噪算法在处理各种类型的噪声时都能表现出优异且稳定的去噪性能。
(2)实验结果表明，在去噪过程中，冻结的预训练参数编码器起到了低通滤波器的作用，有效去除了高频噪声，从而提升了去噪算法的性能。
(3)实验表明，不同的训练方法会显著影响参与结果的输入像素范围。冻结预训练参数的方法显著扩大了参与去噪的输入像素范围，这可能有助于提升算法的泛化能力。
部分摘录
深度图像去噪
图像盲去噪被认为是一个病态问题。然而，深度学习的发展有效地解决了这一问题（Zhang等人，2017）。Xu等人（2024）将小波变换集成到深度学习网络中，以帮助恢复高频细节信息。Li等人（2023）将每种失真类型和程度视为一个特定的干扰因素，并通过消除这些干扰因素来学习失真不变的表示。
动机
利用CLIP的图像编码器开发出了一种具有强大泛化和去噪能力的去噪算法（Cheng和Liang，2024）。值得注意的是，具有冻结预训练参数的编码器比经过微调或随机初始化的编码器表现更优。微调参数涉及使用预训练参数初始化网络，并根据下游任务进行更新（Tajbakhsh等人，2016；Zhou等人，2017；Wortsman等人）
性能比较
实验设置。为了训练去噪模型，我们创建了一个包含14,174张图片的训练数据集，这些图片来自多个公共数据集，包括DIV2K（Agustsson和Timofte，2017）、Flickr2K（Lim等人，2017）、CUFED（Wang等人，2016）等。我们的目的是通过整合各种开源数据集来增加训练数据集的多样性。随后，我们构建了一个包含1,155张图片的测试数据集，数据集包括BSD100（Bevilacqua等人，2012）等
不同训练方法的比较
为了研究冻结预训练参数编码器对去噪算法性能的影响，我们实施了两种额外的训练策略：微调参数和随机初始化参数。然后在训练过程中更新去噪算法的参数。实验结果如图8所示。这些结果清楚地表明，去噪算法性能的提升主要源于冻结预训练参数的方法。根据图8b，我们
结论
本文表明，冻结预训练参数的方法可以显著提升网络的泛化能力和去噪性能。实验结果进一步证明，我们提出的去噪算法的性能提升主要源于其过滤高频噪声的能力以及对输入像素范围的扩展影响。鉴于我们网络架构相对简单，仍有很大的潜力对其进行改进。
CRediT作者贡献声明
Jie Zhang：撰写 – 审稿与编辑，撰写 – 原稿，验证，监督，软件开发，方法论，数据管理，概念化。Junda Li：数据管理。Liang Feng：数据管理。Beini Zhang：撰写 – 审稿与编辑，数据管理。Xiao Luo：验证，数据管理。Weijia Wen：撰写 – 审稿与编辑，撰写 – 原稿，验证，资金获取，概念化。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：
JIE ZHANG的资助来自香港科技大学（广州）。如果还有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文所述的工作。
