《Journal of Visual Communication and Image Representation》：FlareDiffusion: Conditional diffusion model for nightime flare removal
编辑推荐：
flare移除技术、条件扩散模型、Flare7K数据集、双分支监督策略、夜间摄影修复
郑祖文（Tzu-Wen Cheng）| 陈长新（Chang-Hsin Chen）| 林昌宏（Chang Hong Lin）
电子与计算机工程系，国立台湾科技大学，台湾台北市大安区基隆路4段43号，邮编106335
摘要
镜片缺陷或污垢会导致不希望出现的图像瑕疵，例如光晕和眩光，这些瑕疵会降低图像质量。直接捕捉强光源也会产生类似的效果。因此，去除眩光的目标是在保留所有细节的同时自然地修复受损部分。我们提出了FlareDiffusion，这是一种用于夜间眩光去除的新型条件扩散模型。FlareDiffusion利用了扩散模型的优势，并通过训练多种眩光模式来增强泛化能力。在输入图像的条件下，通过专门的损失函数引导，我们的模型能够有效去除眩光同时保留光源。在Flare7K测试数据集上的定量比较表明，我们的方法比现有的最先进方法取得了更好的效果，证明了其有效性。
引言
在摄影和视频制作中，强光源常常会产生镜片眩光[1]，这是一种常见的图像瑕疵，通常是由于光线在镜片内部的反射和散射造成的，尤其是在夜间。散射眩光是由表面缺陷或灰尘引起的，而反射眩光则是由于镜片内部多个元件的反射造成的[1]。这些眩光会降低图像质量，并受到镜片设计、材料和清洁度的影晌。图1展示了散射眩光和反射眩光的典型外观。为了减轻眩光，可以使用抗反射涂层[2]和镜片遮罩来减少内部反射和阻挡杂散光。也有一些传统的图像处理方法试图通过检测亮斑[3]、[4]来去除图像中的眩光，但它们难以处理多种眩光模式。最近的深度学习模型，例如GANs[5]、Transformers[6]、Diffusion Models[7]在眩光去除方面显示出潜力[8]、[9]、[11]。然而，在实际场景中收集无眩光和有眩光的配对数据非常困难。吴等人[9]通过半合成数据集解决了这个问题，而戴等人[12]引入了更为全面的Flare7K数据集，该数据集被广泛用于评估眩光去除模型。
在本文中，我们提出了FlareDiffusion，这是一个专门为夜间眩光去除设计的基于条件扩散的框架。通过利用扩散模型的强大生成能力，我们的方法克服了现有技术的局限性，并在定量指标和视觉质量方面取得了显著改进。本工作的主要贡献总结如下：
- •
我们基于Flare7K引入了一个考虑物理特性的合成流程，该流程生成了带有精确光源掩码的配对训练数据。这使得模型在修复过程中能够明确区分有效光源和眩光瑕疵。
- •
我们设计了一种双分支监督策略，集成到了条件DDPM中。与标准修复模型不同，我们的架构包含一个辅助分支，该分支专门用于学习预测独立的眩光模式。这种直接的监督机制强制网络捕捉到眩光的特征，有效防止了光源和眩光瑕疵之间的混淆。
- •
我们在Flare7K-Real数据集上进行了广泛的实验。结果表明，我们的方法在性能和视觉质量上均优于现有的最先进方法。
本文详细介绍了FlareDiffusion的开发与评估过程，强调了其在推进生成式眩光去除技术方面的潜力。
部分摘录
眩光去除
近年来，眩光去除一直是计算机视觉研究的一个重要领域。已经提出了多种方法来解决这一挑战。
该领域的一项基础性工作是由吴等人[9]提出的，他们开发了第一个用于眩光去除的半合成数据集，包含2001张真实拍摄图像和3000张模拟眩光图像，并为此任务提供了训练流程。他们的数据集结合了合成眩光和实际拍摄的眩光图像，这些图像是基于物理原理创建的
提出的方法
条件DDPM在处理眩光去除这一特定挑战方面具有明显优势。与CNN和GAN等传统模型不同，这些模型在处理高度变化的图像瑕疵方面往往存在局限性，而条件DDPM非常适合需要细致且逐步去除复杂视觉干扰（如眩光）的任务。眩光由于其形状、大小、强度以及与周围光源的相互作用方面的多样性，带来了独特的挑战。对于
数据集
戴等人[12]提出的Flare7K数据集旨在解决夜间眩光去除所面临的独特挑战，这比白天眩光去除更为复杂，因为夜间眩光的亮度变化更大，人造光源的波长范围也更广，同时还有不同的眩光模式。该数据集包含7000张图像，其中5000张是散射眩光图像，2000张是反射眩光图像。这些图像是基于真实世界观测结果生成的结论
在本文中，我们提出了一种针对夜间或黑暗场景的眩光去除新方法。我们提出了一个基于扩散框架的解决方案，该框架能够有效处理各种眩光模式和光照条件，它基于U-Net网络并进行了若干改进。我们采用了与Flare7K[12]相同的数据增强方法，并结合了我们的合成技术和专门设计的损失函数。这种策略成功地去除了眩光，同时保留了光源
局限性与未来工作
尽管取得了有希望的结果，我们的方法仍存在一些局限性。首先，如图8(a)和(b)所示，模型难以完全去除较小的散射眩光。此外，如图8(c)所示，它也无法处理位于图像边缘的不完整眩光。尽管我们尝试用较小的眩光模式增强训练集，但在这些具有挑战性的场景中仍会留下一些残余瑕疵。
另一个局限性在于当前的训练数据。
CRediT作者贡献声明
郑祖文（Tzu-Wen Cheng）：撰写 – 审稿与编辑、软件开发、方法论研究、概念构思。陈长新（Chang-Hsin Chen）：撰写 – 审稿与编辑、初稿撰写、可视化设计、研究工作、概念构思。林昌宏（Chang Hong Lin）：撰写 – 审稿与编辑、验证工作、监督指导、资金获取、概念构思。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：林昌宏报告称获得了国家科学技术委员会的财政支持。如果还有其他作者，他们声明没有已知的可能影响本文所述工作的财务利益或个人关系。
致谢
作者感谢台湾国家科学技术委员会
对这项研究的支持
（注：最后一段“NSTC113-2221-E-011-122-”应为具体的支持编号或说明，但在提供的文本中未被填充。）
