CNN-CECA：通过CNN驱动的非线性曲线估计和多色空间中的通道级注意力实现水下图像增强

《Image and Vision Computing》：CNN-CECA: Underwater image enhancement via CNN-driven nonlinear curve estimation and channel-wise attention in multi-color spaces

水下图像增强面临光衰减、散射和吸收导致的颜色偏移、对比度降低等问题。本文提出CNN-CECA框架，融合卷积神经网络与物理启发的多颜色空间非线性曲线估计（RGB/HSV/CIELab），通过ResNet-50参数化多项式、Sigmoid、指数曲线，结合Triple Channel-wise Attention动态分配颜色空间权重，实现全局与局部特征自适应融合，辅以对比度拉伸和边缘锐化后处理。实验表明该方法在UIEB、UCCS等数据集上显著优于传统及SOTA方法，具备跨场景泛化能力。

　　

伊姆兰·阿夫扎尔（Imran Afzal）| 郭继昌（Guo Jichang）| 法齐拉·西迪基（Fazeela Siddiqui）| 穆罕默德·法哈德（Muhammad Fahad）

天津大学电气与信息工程学院，中国天津300072

摘要

高质量的水下图像对于海洋探索、环境监测和科学分析至关重要。然而，这些图像会因光衰减、散射和波长依赖的吸收而退化，导致颜色偏移、对比度降低以及细节丢失。此外，许多现有的深度学习技术像“黑箱”一样运行，可解释性有限，并且在不同的水下条件下泛化能力较差。为了解决这个问题，我们提出了CNN-CECA这一新颖的深度学习框架，其核心创新在于将卷积主干网络与基于物理原理的非线性曲线估计方法在多个颜色空间中相结合。一个轻量级的CNN用于调整亮度、对比度和颜色平衡，而ResNet-50则用于指导RGB、HSV和CIELab空间中多项式、Sigmoid和指数曲线的分析，从而实现全局和局部适应。一个关键组件是我们的新型三通道注意力（Triple Channel-wise Attention，TCA）模块，它能够融合三个颜色空间的结果，动态分配权重以恢复自然颜色和精细结构。通过对比度拉伸和边缘锐化进行后处理，可以在保持实时使用效率的同时实现最终优化。在合成数据和真实世界数据集（例如UIEB、UCCS、EUVP和NYU-v2）上的广泛实验表明，与传统方法和最先进的技术相比，该方法在定量评分和视觉恢复方面具有显著优势。消融研究验证了曲线估计和注意力机制的贡献。这种可解释且适应性强的方法为水下图像增强提供了稳健、可扩展且高效的解决方案，适用于支持自主平台和人类操作员的视觉任务，并且能够在全球范围内适应不同的场景和水下条件。

引言

由于水的复杂光学特性（包括散射、吸收和波长依赖的衰减），水下图像增强具有固有的挑战性。这些效应会降低图像质量，降低对比度，模糊细节，并使颜色产生偏移，通常使图像呈现主导的绿色或蓝色色调。传统的方法（包括像素级调整和物理建模）在不同水下条件下难以有效工作。因此，迫切需要一种稳健且适应性强的增强方法，能够在多种水下环境中有效缓解这些问题。

以往用于增强水下图像的方法大致分为两类：一类不依赖物理建模[1]、[2]、[3]、[4]；另一类基于物理建模[5]、[6]、[7]、[8]、[9]、[10]。水下环境的复杂性和变化性限制了现有模型的有效性，因为这些模型往往依赖于不稳定的物理原理，对数据不准确性和有限场景敏感。

尽管深度学习（如GAN和CNN）的进步提高了水下图像处理的效果，但CNN通常能提供更可靠的结果，因为它们依赖于原始数据。然而，大多数技术仍然局限于RGB光谱范围内，无法充分捕捉水下特征。此外，许多端到端模型在复杂的水下失真情况下存在数据丢失和适应性降低的风险。本研究的主要贡献如下：

•

混合CNN架构：将基于CNN的框架与多个颜色空间（RGB、HSV和CIELab）中的非线性曲线估计相结合，利用ResNet50的力量进行精确的曲线参数估计。这种方法实现了水下图像的局部和全局适应。

•

自适应非线性变换：根据每张图像的独特特征使用多项式、Sigmoid和指数曲线变换，从而实现对亮度、对比度和颜色平衡的精确控制，这是传统方法无法实现的。

•

通道级注意力机制：一种新颖的注意力机制，动态调整每个颜色空间的贡献权重，从而改善全局和局部特征的融合。这使得最终图像的清晰度、锐度和自然色彩再现得到提升。

相关工作

相关研究

近期在水下图像增强方面的进展催生了众多有效方法，这些方法大致可以分为三类：传统技术、基于深度学习的策略以及利用多个颜色空间的方法。

提出的方法

本研究提出了一种用于水下图像增强的深度学习框架，整合了卷积特征提取、非线性曲线变换和多颜色空间融合。工作流程从预处理开始，标准化输入尺寸并应用数据增强（如随机翻转）以提高多样性并减少过拟合。然后，这些图像通过自定义CNN进行处理，该CNN通过卷积和最大池化层提取空间特征，为后续处理打下基础。

实验与结果

数据集 我们使用了四个特定的开放获取数据集来评估我们提出方法在陆地和水下环境中的有效性。这些数据集如下：

• (1)
  UIEB数据集，包含890对退化的高分辨率水下图像和60个无参考的挑战性场景集。
• (2)
  NYU-v2 RGB-D数据集，广泛用于在各种照明条件下合成和评估水下图像增强效果。

结论

本研究提出了一种基于CNN的先进框架，采用ResNet-50主干网络和通道级注意力机制来增强水下图像。该方法通过有效结合CNN特征提取、非线性多颜色空间变换和动态注意力驱动的融合，解决了常见的水下图像退化问题，如光照不足、对比度降低和颜色失真。在多种数据集上的实证评估证明了该模型的有效性。

CRediT作者贡献声明

伊姆兰·阿夫扎尔（Imran Afzal）：撰写 – 审稿与编辑、初稿撰写、软件开发、方法论设计、数据分析、概念化。 郭继昌（Guo Jichang）：撰写 – 审稿与编辑、可视化展示、验证、项目监督、资源协调、方法论设计、资金获取、数据分析、概念化。 法齐拉·西迪基（Fazeela Siddiqui）：撰写 – 审稿与编辑、软件开发、方法论设计、数据分析、概念化。 穆罕默德·法哈德（Muhammad Fahad）：撰写 – 审稿与

伦理批准

不适用。

资助

本项目由中国国家自然科学基金资助（项目编号：62171315）。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本项目部分资金来自中国国家自然科学基金（项目编号：62171315）。