通过数据合成和生成扩散先验，在野外实现鲁棒的弱光图像增强

《Pattern Recognition》：Robust Low-Light Image Enhancement In the Wild via Data Synthesis and Generative Diffusion Prior

低光图像增强中提出LoRDiff模型，通过ISP合成数据管道生成多样性训练数据，结合低秩适配（LoRA）技术微调扩散模型，有效解决数据稀缺和复杂退化问题，实验验证其性能优于现有方法。

　　

王志华|林庆华|刘飞阳|张伟霞|周伟

香港城市大学计算机科学系，中国香港

摘要

深度神经网络（DNNs）已成为低光照图像增强（LLIE）的主流方法，并在近年来取得了令人印象深刻的进展。然而，它们的实际应用仍受到两大挑战的限制。首先，监督式LLIE依赖于大规模的低光照和参考图像配对数据集，这些数据集的收集成本高昂且对参考图像的真实性非常敏感。其次，现实世界中的图像退化现象（如曝光不足、光照不均、噪声、色彩不平衡和运动模糊）多种多样且非线性，这使得建模变得困难，从而影响了模型的泛化能力。为了解决这些问题，我们提出了一个结合了先进数据合成技术和生成扩散先验的框架，以提高模型的鲁棒性和适应性。在数据合成方面，我们开发了一种基于图像信号处理（ISP）的流程，并加入了JPEG压缩和部分退化处理，生成了包含曝光良好区域和严重曝光不足/过曝区域的图像。这种基于物理原理的模拟方法能够生成可扩展的、逼真的配对训练数据。在模型设计方面，我们提出了Low-light Residual Diffusion（LoRDiff）模型，该模型利用预训练的文本到图像扩散模型的生成能力来进行LLIE处理。通过低秩适配器（LoRA），LoRDiff仅对最相关的层进行微调，将从大规模自然图像数据集中学习到的丰富结构、纹理和语义先验应用于LLIE任务。这种设计使模型能够捕捉复杂的图像退化现象，并生成视觉上令人满意、感知上一致的增强效果。在多个LLIE基准测试中的广泛实验表明，LoRDiff在定量和感知评估方面均表现出竞争力或更优的性能。此外，该模型在具有挑战性的实际条件下也表现出强大的泛化能力和稳定性，显示出其在实际应用中的潜力。源代码和预训练权重可在以下链接获取：https://github.com/wzhsysu/LoRDiff。

引言

低光照图像增强（LLIE）[1]、[2]旨在通过恢复色彩真实性、修复细节纹理和抑制噪声来改善在不良光照条件下的图像可见性，从而在美学质量和语义清晰度方面符合人类视觉感知。作为计算机视觉中的一个基本任务，LLIE支持广泛的现实世界应用，如监控、自动驾驶和移动摄影，尤其是在夜间或低光照环境中。尽管其重要性不言而喻，但由于自然场景中存在的多样化和复杂的图像退化现象，LLIE仍然具有挑战性，这使得增强模型难以在各种条件下保持一致的性能。在如此多样的场景中实现强大的泛化能力是一项非平凡的任务，这也使得LLIE成为一个活跃且不断发展的研究领域。

现有的LLIE方法大致可以分为传统方法和基于深度学习的方法。传统技术，如直方图均衡化[3]、[4]和伽马校正[5]，依赖于预定义的先验，在均匀光照条件下表现相当不错。然而，这些方法对人为假设的依赖性[6]限制了它们的灵活性；当这些先验无法反映真实世界光照的复杂性时，增强效果往往会受到影响。此外，传统方法难以模拟低光照图像中固有的多种退化特征，如非均匀光照、严重噪声和色彩失真[7]。在过去十年中，数据驱动的方法，特别是基于深度学习的方法[1]、[8]受到了越来越多的关注。这些模型利用大规模数据集学习从低光照图像到曝光良好图像的映射，从而更有效地捕捉复杂的非线性退化模式[9]，在各种具有挑战性的场景中表现出更优的性能。

然而，基于深度学习的LLIE方法往往难以有效泛化到实际场景中。如图1所示，现有方法在具有严重曝光不足和曝光过度区域的挑战性场景中经常产生次优的增强效果[10]、[11]、[12]。这些缺点主要源于两个因素。首先，在不同光照条件下收集具有精确像素级对齐的大规模配对数据集既费时又不切实际[12]。因此，许多现有数据集要么是合成生成的，要么是在受限条件下捕获的，导致模型训练所需的多样性不足。其次，现实世界的低光照图像通常表现出多种类型的退化现象，如严重曝光不足、空间非均匀光照、传感器噪声、运动模糊和色彩不平衡，这些现象本身就难以建模，尤其是在训练数据有限的情况下[13]。这些退化现象通常以非线性的方式相互作用，进一步复杂化了建模过程。因此，尽管在基准数据集上表现良好，许多LLIE模型在多样化和不受限制的实际条件下仍无法始终提供高感知质量的增强效果。

为了克服数据稀缺和复杂退化这两个障碍，我们采取了双管齐下的策略。首先，我们构建了一个由图像信号处理（ISP）驱动的合成流程，能够生成涵盖广泛低光照退化范围的几乎无限量的配对训练数据。从高质量的白天照片开始，我们将它们逆向处理到RAW格式，然后注入信号相关的拍摄噪声、曝光下降和色彩温度变化。随后，这些退化的RAW图像通过去马赛克、白平衡、色彩空间转换、色调映射、伽马校正和可选的JPEG压缩等阶段进行处理，每个阶段都加入随机偏移量。为了反映手持夜间摄影中常见的局部曝光不平衡现象，我们还创建了混合帧，将正确曝光的区域与严重曝光不足的区域并置。这样得到的语料库能够捕捉到野外遇到的全局和局部光照缺陷。

ISP驱动的合成流程能够生成理论上数量无限的配对低光照/正常光照图像，具有丰富多样的退化空间，有助于使用预训练的生成先验对大规模模型进行有效微调。这样的预训练扩散先验[14]提供了强大的生成能力，能够恢复视觉上合理的细节和自然色彩分布，并在现实世界的图像增强任务中取得了显著的成功[15]。在这项工作中，我们提出了Low-light Residual Diffusion（LoRDiff），它使用该流程合成的低光照/正常光照图像对来微调Stable Diffusion（SD）[16]的变体。受[17]的启发，我们采用了低秩适配器（LoRA）[18]进行参数高效微调。这种设计保留了预训练的扩散先验，支持生成视觉上令人满意的细节和与自然图像统计特征相符的生动自然色彩，同时能够高效适应LLIE任务。在多个低光照基准测试中的广泛实验表明，LoRDiff在定量和感知评估方面均表现出竞争力或更优的性能。此外，在具有挑战性的条件下进行的评估表明，LoRDiff能够有效保留局部细节并保持全局光照平衡，生成的结果符合人类感知偏好。

总的来说，我们的贡献有三个方面：

•

我们设计了一个由ISP引导的合成流程，该流程模拟了传感器物理特性和相机内部处理过程，能够生成几乎无限量的多样化低光照训练数据，以支持野外的强大LLIE效果。

•

我们提出了LoRDiff，它整合了用于LLIE的预训练生成扩散先验。这些先验提供了强大的生成能力，能够恢复视觉上合理的细节和自然色彩分布。此外，LoRDiff在推理过程中支持图像自适应的迭代增强，逐步提升图像质量。

•

在多个数据集上的广泛实验表明，LoRDiff在保留局部细节、保持全局光照一致性和提供符合人类偏好的结果方面超越了现有的最先进（SOTA）方法，为实际的LLIE应用奠定了坚实的基础。

相关工作

相关工作

在本节中，我们首先全面回顾了LLIE领域的最新进展，涵盖了传统方法和基于学习的方法。然后，我们重点关注了一类新兴的图像增强方法，这些方法结合了生成扩散先验，由于它们能够从大规模数据集中捕获丰富的结构、纹理和语义信息，因此最近受到了关注。

方法

为了解决训练数据稀缺和复杂实际退化这两个挑战，我们提出了一个两步策略。首先，为了克服数据稀缺问题，我们设计了一个由ISP引导的合成流程，可以生成无限量的低光照和参考图像对，其中包含了曝光不足、噪声和色彩偏移等退化现象，以提高数据的多样性。其次，为了更好地处理异构和非线性的退化现象，我们开发了LoRDiff，这是一个基于SD的LLIE模型，它能够适应这些复杂情况。

实验与结果

在本节中，我们首先描述了实验设置，包括数据集、实现细节和评估指标。然后，我们在多个数据集上展示了实验结果，并将我们的方法与最先进的方法进行了比较。最后，我们进行了额外的实验来评估所提出的数据集合成流程和模型的有效性。

结论

本文解决了实际LLIE中的两个主要挑战：缺乏配对训练数据和复杂的图像退化现象。我们提出了一个两部分解决方案：（1）扩展了由ISP引导的流程，能够生成具有真实变化的无限量低光照数据对；（2）LoRDiff，这是一个基于扩散的LLIE模型，它利用预训练的文本到图像模型的生成先验进行感知增强。实验表明，LoRDiff仅在我们的合成数据上进行训练，就展现了出色的性能

CRediT作者贡献声明

王志华：撰写——审阅与编辑、撰写——原始草稿、可视化、验证、监督、软件开发、资源管理、方法论研究、数据分析、形式化分析、数据整理。林庆华：撰写——审阅与编辑、撰写——原始草稿、验证、方法论研究、数据分析、形式化分析、数据整理、概念化。刘飞阳：撰写——审阅与编辑。张伟霞：撰写——审阅与编辑、撰写——原始草稿、可视化

利益冲突声明

作者声明以下可能的财务利益/个人关系可能被视为潜在的利益冲突：

王志华的报告由香港城市大学提供。林庆华的报告由香港城市大学提供。张伟霞的报告由上海交通大学提供。周伟的报告由卡迪夫大学提供。如果还有其他作者，他们声明没有已知的财务利益或个人关系