编辑推荐:
低光图像增强问题,提出SIANet通过边缘校准、扩展注意力与迭代校准模块协同优化亮度、对比度与细节,实验验证其显著优于现有方法并提升面部检测精度。
张卫东|高星云|徐俊鹏|庄佩贤|梁正|赵文义
河南科技大学信息工程学院,新乡市,453003,中国
摘要
在低光照条件下拍摄的图像通常存在亮度不足、对比度低、颜色失真和细节丢失等问题,这些问题严重影响了人类的视觉感知和复杂视觉任务的效率。为有效解决这些退化问题,我们提出了一种自校准的迭代注意力网络(SIANet)来增强低光照图像。具体来说,我们首先引入了一个边缘校准模块来柔和并重建输入图像的边缘,从而在图像边缘先验的约束下更好地保留图像的纹理特征和细节。随后,我们加入了一个扩展的注意力模块,通过调整通道和空间维度来提取图像的多维特征信息,以保留更有价值的特征。最后,我们利用迭代校准模块迭代学习输入的多维特征,通过控制每个阶段的曝光水平来加速增强曲线的生成,从而确保SIANet的稳定性和增强结果的质量。在四个标准数据集上的广泛评估表明,我们的SIANet在对比度增强、颜色恢复和细节锐化方面优于现有的方法。
引言
随着成像设备和技术的进步,对高质量图像的需求持续增长。然而,由于各种环境干扰[1],获得满意的图像仍然具有挑战性。特别是在低光照条件下,图像的亮度受限、细节丢失以及对比度降低[2],[3],这严重影响了后续的视觉感知任务。由于高质量图像在日常生活中至关重要,并且在自动驾驶、智能农业和视频监控等领域也至关重要,因此低光照图像增强受到了越来越多的研究关注。
为了解决在不良照明条件下的图像退化问题,已经开发了许多低光照图像增强(LLIE)方法[4],[5],[6],[7],[8]。现有的LLIE方法大致可以分为三类:基于增强的方法、基于恢复的方法和基于深度学习的方法。基于增强的方法通过调整像素强度来提高亮度和对比度[9],但它们在不同场景和照明条件下的泛化能力较差,经常在复杂环境中导致结果不一致[10]。基于恢复的方法通过使用预定义的先验来反演退化模型来估计清晰的图像[11]。然而,它们依赖于手工制作的、通常过于简化的物理假设,这限制了其对现实世界中动态变化的照明的鲁棒性。最近,深度学习方法[12]由于能够从大规模数据集中自动学习多层次表示和非线性映射而受到重视[13],[14],[15],[16]。这些模型有效地将低光照输入与其增强后的图像联系起来,并在各种具有挑战性的低可见度场景中展示了强大的适应性。
在这项工作中,我们提出了一种自校准的迭代注意力网络(SIANet)用于强大的低光照图像增强。该框架包括三个关键组成部分:边缘校准模块(ECM)、扩展注意力模块(EAM)和迭代校准模块(ICM)。ECM通过重建精细的边缘和纹理来强调结构保真度。EAM通过动态注意力机制自适应地提取信息丰富的通道-空间特征。ICM通过迭代生成增强曲线来逐步细化图像,实现稳定的曝光控制、改善的局部对比度和减少的信息丢失。图1展示了SIANet在各种退化条件下的代表性增强结果。
本文的主要贡献总结如下。
•我们提出了一种自校准的迭代注意力网络,用于增强低光照图像,该网络在各种退化的低光照场景中表现出强大的增强和泛化能力,并在定量指标上显示出显著的优势。此外,我们的SIANet增强的图像在黑暗环境中的面部检测准确性显著提高。
•我们设计了一个边缘校准模块(ECM),该模块利用多尺度残差网络的特征,在多个尺度上自适应地检测图像特征,以从低质量图像中恢复边缘信息和细节信息。这种策略有助于我们的SIANet重建低光照增强图像的清晰边缘结构。
•我们引入了一个扩展的注意力模块(EAM)和一个迭代自校准模块(ICM),其中EAM动态调整图像特征的通道和空间维度以提取和保留更有价值的多维特征信息,而ICM则迭代细化输入特征以生成图像增强估计曲线,从而提高曝光稳定性。
本文其余部分的结构如下。第2节回顾了与LLIE相关的工作。第3节详细描述了SIANet的边缘校准模块、扩展注意力模块和迭代自校准模块。第4节对我们的网络性能进行了评估和分析。最后,第5节总结了整篇文章并讨论了未来的研究方向。
部分摘录
相关工作
目前,LLIE技术大致可以分为三种方法论方向:基于图像增强的方法、基于图像恢复的方法和基于深度学习的方法。
提出的方法
在图2中,我们展示了可以应用于各种退化低光照图像场景的自校准迭代注意力网络,以生成清晰的图像。我们的网络包括一个边缘校准模块、一个扩展注意力模块、一个迭代自校准模块和一个统一的损失函数。在边缘校准模块中,对于SIANet来说,增强超维图像中纹理-边缘信息的清晰度是有益的。扩展注意力模块强调
实验
在这部分中,我们全面验证了SIANet在多个基准测试中的性能。我们首先介绍了实验中使用的数据集和评估指标,然后对SIANet与十四种LLIE方法进行了定性和定量比较。此外,我们进行了消融研究,以彻底调查每个模块的贡献,并将SIANet扩展到其他视觉相关领域,进一步证明了其广泛的适用性。
实验数据集。
结论
在本文中,我们介绍了一种用于低光照图像增强的自校准迭代注意力网络(SIANet)。SIANet包括三个分支:ECM、EAM和ICM。ECM允许在这些分支之间进行自适应调整,捕获边缘特征以进行柔和的边缘重建。ICM在注意力机制中调整通道和像素权重,并逐层校准迭代增强曲线,以加快生成速度。EAM增强了通道中的特征图表示
CRediT作者贡献声明
张卫东:研究、资金获取、正式分析、数据管理、概念化。高星云:资源、项目管理、方法论、研究。徐俊鹏:撰写——原始草稿、软件、方法论。庄佩贤:资源、项目管理、方法论、研究。梁正:资源、项目管理、方法论。赵文义:可视化、验证、监督、软件。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本项工作部分得到了国家自然科学基金(项目编号:62171252、62403066、62401095)的支持,部分得到了河南省高等学校青年教师培训计划(项目编号:2025GGJS099)的支持,部分得到了中国博士后科学基金项目(项目编号:2024M750747、2023M740460)的支持,部分得到了河南省科技研究项目(项目编号:242102210117、242102110014)的支持,部分得到了关键