《Optics & Laser Technology》:A brightness-adaptive recursive enhancement under severe illumination imbalance and particulate scattering
编辑推荐:
Magudeeswaran Veluchamy | Bharath Subramani
电子与通信工程系,PSNA工程与技术学院,Dindigul,泰米尔纳德邦,印度
摘要
在煤矿环境中部署的成像系统面临着严重的照明不均衡、颗粒物散射和明显的色彩失真问题,这些问题显著降低了视
Magudeeswaran Veluchamy | Bharath Subramani
电子与通信工程系,PSNA工程与技术学院,Dindigul,泰米尔纳德邦,印度
摘要
在煤矿环境中部署的成像系统面临着严重的照明不均衡、颗粒物散射和明显的色彩失真问题,这些问题显著降低了视觉质量,并影响了下游分析的可靠性。这些退化现象是由于光子供应有限、人工照明不均匀以及悬浮尘埃颗粒引起的波长依赖性衰减所导致的。为了解决这些挑战,本文提出了一种名为Mine-RecNet的亮度自适应递归增强框架,该框架可在极端地下环境中实现稳健的图像恢复。该方法引入了一个跨颜色空间的照明推断模块,该模块将物理亮度和感知亮度特性结合起来,以获得抗噪声的照明先验。像素级的递归深度估计器能够进行空间选择性迭代校正,从而根据局部情况调整增强强度,以应对不均匀照明、结构退化和对比度不一致性问题。随后采用的物理引导的多尺度色彩归一化方案通过联合估计全局颜色偏差和局部光谱不均匀性来纠正波长选择性失真,在极端退化条件下保持边缘、纹理和感知一致性。在六个标准基准数据集上的实验表明,Mine-RecNet的表现始终优于十四种现有最先进方法,平均EME为84.43、NIQE为2.82、BRISQUE为22.15,相比最接近的竞争方法分别提高了37.8%、16.4%和13.9%,证明了其在实际地下监测应用中的适用性。
引言
低光照图像增强(LLIE)在计算机视觉、图像处理和自主感知系统中发挥着重要作用。在复杂的低光照地下环境中捕获的图像通常具有低对比度、严重的噪声污染和色彩失真,这是由于光子捕获有限、传感器非线性以及波长依赖性散射所致[1]、[2]、[3]。这些退化现象严重影响了人类的视觉解释和自动感知任务,如检测、分割和物体识别。有效的LLIE方法侧重于提高可见度、保留结构细节并恢复颜色一致性,同时在实际感知环境中高效运行。早期的LLIE研究主要依赖于全局变换或基于物理的照明模型。传统的反差校正、直方图均衡化和同态滤波等方法虽然提高了平均亮度,但无法处理空间变化的照明条件,常常导致局部区域过度增强和细节丢失。Retinex理论提出了一种将观测图像分解为照明和反射成分的物理驱动方法,提供了基于感知的解决方案。然而,在典型的地下环境中的局部照明和散射条件下,这种假设变得不准确。这些挑战促使研究人员探索结合物理照明先验和数据驱动校正策略的混合框架,以实现感知和物理的一致性。
近年来,深度学习彻底改变了LLIE研究,使得能够对复杂的照明-反射关系进行建模。卷积神经网络(CNN)、展开架构、扩散模型和视觉语言引导的系统已被用于直接从数据中学习增强映射。尽管取得了进展,低光照图像增强方法仍然面临一些挑战,例如在增强过程中噪声传播、网络学习导致的意外颜色偏差以及过度照明校正时结构细节的退化。在工业和煤矿环境中,严重的照明不均匀性、颗粒物散射和人工照明的光谱偏差引入了复杂的退化模式,这促使人们开发了一种结合物理引导的照明估计、自适应递归细化和细粒度色彩归一化的端到端增强框架。为此,提出了名为Mine-RecNet(Mine Recursive Enhancement and Color Normalization Network)的混合学习框架。该框架将显式的照明估计、自适应亮度细化和粗到细的色彩恢复整合在一个可微分的架构中。通过结合物理基础先验和自适应数据驱动学习,Mine-RecNet旨在在不同低光照煤矿条件下生成视觉上一致、结构上保留且色彩上准确的图像。Mine-RecNet的技术贡献总结如下:
- •
开发了一个三阶段的照明-反射重建框架,通过照明感知、亮度自适应递归细化和粗到细的色彩归一化来近似逆向的地下成像过程。
- •
引入了一个双域照明感知模块,用于在严重非均匀照明条件下联合分析基于YUV的亮度和基于HSV的感知亮度,以构建抗噪声的照明先验。
- •
亮度自适应递归增强(BARE)模块结合了像素级递归深度估计和对比度-纹理细化,实现了对不同亮度区域的空间选择性迭代校正。
- •
区域校准的恢复和色彩归一化流程(CFCN)结合了U-Net架构和自适应对比度及饱和度操作符,以纠正由波长依赖性散射引起的色彩失真。
- •
基于物理的一致性损失公式结合了照明空间一致性、感知特征对齐、色域约束、颜色分布规范化和递归稳定性惩罚,以确保稳定的收敛性和色彩保真度。
- •
在具有挑战性的地下场景中进行的大量验证表明,与现有的最先进增强方法相比,在可见度、结构清晰度和色彩准确性方面取得了持续改进。
本手稿的其余部分安排如下:第二部分总结了与低光照增强和地下成像相关的早期研究;第三部分描述了Mine-RecNet的设计原理和计算组件,包括照明估计、自适应递归细化和色彩归一化;第四部分概述了数据集、实现设置、评估标准和实验分析;第五部分总结了研究并讨论了潜在的扩展。
部分片段
相关工作
近期关于低光照图像增强(LLIE)的研究可以大致分为物理照明建模、基于深度学习的方法、扩散方法和针对工业及地下环境的特定领域框架。早期的基于物理的增强技术主要关注照明和反射成分的显式建模。Zhao等人[4]提出了一种自适应调节的鲁棒非线性增强函数
本文提出的工作
低光照煤矿图像受到空间非均匀照明、高密度颗粒物散射以及窄带人工光源引起的明显色彩失真的严重影响。传统的基于Retinex的增强方法通常假设照明分布全局平滑,这限制了它们在复杂地下环境中的有效性,而标准的卷积神经网络模型往往忽略了
结果与讨论
为了验证所提出的Mine-RecNet在地下采矿环境中获取的图像上的有效性,针对一系列最先进的增强方法进行了广泛的定量和定性评估。实验在自构建的煤矿数据集和多个公共低光照基准数据集上进行,从而全面评估了重建保真度、感知真实性和色彩准确性。所有实验均在
结论
在本研究中,提出了一种自适应递归增强框架,以应对严重照明不均衡和颗粒物散射伪影带来的图像增强挑战。首先,通过联合利用基于物理的亮度分布和在互补双颜色空间中对齐的感知亮度表示,构建了一个空间连贯的照明先验,从而实现了稳健的场景照明估计。然后,通过像素自适应
。资助确认声明
本研究未获得公共部门、商业部门或非营利组织的任何特定资助。
CRediT作者贡献声明
Magudeeswaran Veluchamy:撰写——审阅与编辑、撰写——初稿、方法论、资金获取、正式分析、数据管理、概念化。Bharath Subramani:撰写——审阅与编辑、撰写——初稿、可视化、验证、监督、软件、资源管理、项目管理、方法论。
利益冲突声明
作者声明他们没有已知的可能影响本文工作的竞争性财务利益或个人关系。