一种基于预训练卷积神经网络（CNN）的扩散框架，结合颜色传输技术用于低光照图像增强

《Digital Signal Processing》：A Pretrained CNN-Guided Diffusion Framework with Color Transfer for Low-Light Image Enhancement

低光图像增强框架融合预训练CNN与扩散模型，通过多光谱注意力机制提升细节恢复，并采用颜色传输机制纠正扩散生成的色调偏移，实验验证其有效性和优越性。

　　

涂俊芳|李伟|赵永灿|张坤彦

河南大学人工智能学院，郑州，450046，中国

摘要

本文提出了一种低光照图像增强模型，该模型将预训练的卷积神经网络（pretrained CNN）与扩散模型相结合，并结合颜色传递机制来优化颜色一致性。该模型旨在提高低光照图像的亮度和对比度，同时增强细节并保持自然色彩的真实性。首先，预训练的CNN阶段对原始低光照图像的结构和颜色特征进行初步重建，为颜色传递提供先验信息。接下来，预训练CNN的输出作为扩散模型的条件约束，指导其生成与条件输入相对应的高质量增强图像，从而恢复图像细节。最后，为了解决扩散模型输出中常见的色调偏移问题，引入了颜色传递机制，将预训练CNN阶段的颜色分布映射到扩散生成的图像上，以提高整体颜色一致性。在真实世界的低光照公共数据集上的实验结果表明，所提出的方法在细节恢复和颜色真实性方面具有明显优势，验证了该框架的有效性和先进性。

引言

在现实世界中，经常遇到光照不足的场景，如夜间环境、光线昏暗的室内环境或背光场景[1]。在这些条件下，明亮区域和暗区域之间的亮度分布被压缩，导致图像呈现模糊或褪色的视觉效果[2]。这种现象不仅会模糊物体边界，还会影响细部纹理的表示[3]。特别是在阴影区域或远景背景中，目标物体难以区分。由于图像的高频成分集中了关键的视觉元素（如纹理和边缘），因此在低光照条件下有限的曝光或传感器性能不足，使得捕捉这些信息变得困难[4]。因此，低光照图像通常表现出纹理减弱和边缘轮廓缺失的问题，这严重削弱了增强算法的结构恢复能力。

传统的低光照图像增强（LLIE）方法[5]、[6]、[7]、[8]、[9]、[10]在恢复场景亮度、调整对比度和增强细节方面有不同的侧重点。基于Retinex理论和直方图均衡化的技术旨在通过物理建模来改善亮度[11]。虽然这些方法在全局照明增强方面有效，但往往缺乏局部适应性，可能导致过度曝光或视觉失真。非线性增强方法，如Gamma校正和对数变换，使用固定的数学公式重新映射像素强度，从而放大较暗区域并提高局部对比度。然而，它们的全局性质限制了灵活性，难以同时平衡图像中的明亮区域和暗区域。专注于细节恢复的方法，如拉普拉斯增强和保持边缘的滤波，通常被纳入基于融合的策略中，以锐化图像细节并抑制噪声。尽管这些技术在计算上简单且边缘增强效果显著，但它们依赖于数值控制机制，这限制了增强的程度和平滑效果，最终限制了它们恢复复杂场景结构的能力。

深度学习技术的出现解决了传统LLIE方法中的一些固有局限性。通过将经典物理模型与数据驱动的方法相结合，如LLNet[12]和MBLEN[13]等研究不仅提高了图像亮度，还显著增强了场景结构的恢复。基于深度学习的低光照增强方法通常使用卷积神经网络（CNN）或生成对抗网络（GAN）[14]，利用端到端训练框架直接从低光照图像中提取特征并进行增强。这些方法在亮度和对比度增强方面表现出强大的性能，并且也有助于提高视觉质量[15]。然而，大多数当前的深度学习方法本质上依赖于图像拟合策略。直接在低光照退化的数据上进行训练可能会在学习过程中引入不稳定性，可能导致过拟合问题。因此，这些模型在极低光照条件下往往难以恢复严重退化或缺失的结构信息。

近年来，扩散概率模型在各种图像合成和恢复任务中展示了出色的生成能力。通过利用渐进式去噪过程，这些模型能够生成富含结构和纹理细节的高质量图像。为了解决极低光照下常见的结构退化和纹理模糊问题，我们将LLIE重新定义为一种条件图像生成任务[16]、[17]。目标是在不利光照条件下推断和重建可能缺失的场景细节和微妙的结构信息。基于这一框架，我们提出了一种结合预训练照明先验和条件扩散模型的LLIE框架。在预训练阶段，我们对原始低光照图像进行初步的结构和照明恢复，以获得颜色先验，并作为后续扩散过程的条件和输入。尽管预训练网络使用局部卷积滤波器有效地建模空间信息，但其捕捉全局结构关系和几何一致性的能力仍然有限。这在极暗区域尤为明显，卷积神经网络（CNN）难以恢复物体轮廓和细纹理，导致输出模糊并带有残余噪声——这种现象类似于低分辨率图像场景中遇到的问题。因此，我们从图像超分辨率方法中汲取灵感，优化条件扩散模型，解决深度学习基LLIE方法中常见的过度增强和纹理模糊问题。最后，为了减轻基于扩散的图像生成中的固有颜色偏差[18]，我们将预训练阶段获得的颜色先验转移到扩散模型的输出中，从而恢复合理且一致的颜色外观。本工作的主要贡献可以总结如下：

1. 我们提出了一种新颖的级联框架，将预训练的CNN与扩散模型相结合。CNN提供了必要的结构和照明先验，以指导基于扩散的增强，显著提高了输出的稳定性和可控性。此外，我们引入了一种多光谱注意力机制，明确增强了高频细节的恢复，以最小的计算开销提升了纹理真实性。

2. 为了确保颜色的真实性，我们设计了一种颜色先验传递策略，将预训练CNN中的可靠颜色分布适应到扩散输出中，有效校正色调偏差并保持自然颜色一致性。

章节摘录

传统的LLIE方法

LLIE是图像增强领域中的一个关键研究方向。传统的LLIE方法主要是非学习型的方法，依赖于手工制作的图像处理策略，如直方图均衡化、Gamma校正和Retinex理论[5]、[6]。这些技术通过操纵像素分布来增强图像的亮度和对比度。例如，直方图均衡化和Gamma校正通过扩展动态范围来改善整体视觉感知

总结

我们提出的模型的整体架构如图1所示。预训练的输出P_cnn作为前向扩散过程的起点x₀，逐渐添加高斯噪声以获得完全噪声化的图像x_T。在反向过程中，U-Net根据当前输入x_t在每个时间步t预测噪声?_θ，并逐步将其去除。同时，P_cnn作为条件先验来指导去噪过程。

实验设置和数据集

我们首先独立训练预训练的CNN，使用Adam优化器进行优化，初始学习率为$1\times {10}^{?4}$，批量大小为200，训练周期为15个周期。为了确保预训练阶段的稳定性和可靠性，我们对损失权重参数α和β进行了敏感性分析，这些参数平衡了L_psd和L_color的贡献。具体来说，α和β在α?∈?{0.1, 0.2, 0.3}和β?∈?{0.1, 0.2, 0.3, 0.5}的范围内变化。（图3）可视化了增强结果

结论和未来工作

本文提出了一种新颖的LLIE框架，该框架将预训练的CNN与扩散模型相结合，并融入了专门的颜色传递机制。所提出的方法解决了低光照增强中常见的细节丢失和颜色失真问题。传统的基于CNN的方法通常会产生过度平滑的输出，纹理细节不足，而基于扩散的方法可能会引入颜色偏移和内容不一致性。

CRediT作者贡献声明

涂俊芳：概念化、方法论、写作——原始草稿、可视化。李伟：方法论、监督。赵永灿：写作——审阅与编辑、验证。张坤彦：软件、可视化、调查。

利益冲突声明

我们声明与任何可能不恰当地影响我们工作的人或组织没有财务和个人关系，对于任何产品、服务和/或公司没有专业或其他性质的兴趣，这些产品、服务和/或公司可能会影响本文所述观点或对手稿“用于低光照图像增强的预训练CNN引导的扩散框架与颜色传递”的评审。