一种灵活的零样本色调映射方法：基于结构保留的扩散模型

《IEEE Transactions on Circuits and Systems for Video Technology》：A Flexible Zero-Shot Approach to Tone Mapping via Structure-Preserving Diffusion Models

基于结构信息和扩散模型的零样本色调映射框架，无需HDR训练数据，通过分解图像结构及色调信息，利用扩散模型进行跨域迁移，结合双控制网络和动态色调调整策略，实现高质量SDR转换。该框架适用于图像融合、曝光校正等多任务，无需重新训练。

　　

摘要：

随着高动态范围（HDR）成像的普及，将HDR图像转换为高质量标准动态范围（SDR）图像以供显示的色调映射技术变得越来越重要。然而，获取成对的HDR和高质量SDR图像几乎是不可能的，这对基于学习的色调映射方法提出了挑战。为了解决这个问题，我们提出了一个无需任何HDR训练样本的零样本色调映射框架。我们的方法将图像分解为两个部分：结构信息和色调信息。首先在高质量的SDR域中训练一个以结构信息为输入的扩散映射模型，然后将其转移到HDR域进行推理，利用两个域中结构信息的等效分布。为了保持原始图像的结构，我们修改了反向采样过程，并将原始结构信息明确地纳入中间结果中。为了提高图像细节，我们引入了一个双控制网络，使得不同的条件输入能够控制输出的不同尺度。此外，我们设计了一种灵活的色调调整策略，并使用一系列新颖的损失函数在反向采样过程中动态修改训练得到的分数函数，允许用户在测试时根据喜好自定义生成图像的风格。虽然我们的模型最初是为色调映射设计的，但它也可以应用于图像融合、曝光校正、去雾等多种任务，而无需重新训练。实验结果表明，我们的方法超越了之前的最先进方法，表明它可以作为一种有效、灵活且多用途的解决方案来处理各种色调映射任务。源代码可在以下链接获取：https://github.com/ZSDM-HDR/Zero-Shot-Diffusion-HDR

引言

图像通常由两种基本类型的信息组成：结构和色调。在图像处理的背景下，“结构”指的是图像中捕获的视觉元素的空间关系，传达了场景的内容[1]。同时，“色调”表示图像不同区域中明暗像素值的分布[2]。通过调整图像的“色调”，可以改变整体的亮度、对比度和像素值的分布，从而实现所需的视觉效果。各种图像处理任务可以被视为在保持图像结构的同时调整其色调，其中最典型的是色调映射[3]，这是一种将高动态范围（HDR）图像转换为高质量标准动态范围（SDR）图像的技术。HDR图像的位宽比SDR图像更宽，因此它们可以记录更广泛的像素值分布，并在诸如背光场景等极端情况下捕获更多信息。尽管人眼在现实世界中可以轻松感知HDR场景，但常见的显示器无法准确呈现HDR图像中的丰富信息。因此，视觉系统必须将HDR图像的像素值映射到SDR空间，并在这个过程中满足两个要求：1）尽可能保留原始结构；2）产生自然的色调[4]、[5]、[6]。