通过逆域对齐和上下文频率特征融合技术实现水下结构裂纹检测

《Marine Structures》：Underwater structural crack detection via inverse-domain alignment contextual-frequency feature fusion

水下混凝土裂缝检测中，传统方法受限于物理先验和环境干扰，本研究提出基于逆域增强的时空特征融合框架，通过恢复水下图像伪真彩色、设计时空特征融合模块和轻量化C3k2模块，有效提升复杂环境下的裂缝检测精度，实验mAP50达0.776。

　　

沈世勤|魏瑞凯|孙盼峰|张学武

河海大学信息科学与工程学院，中国常州213000

摘要

水下结构中的表面裂纹对水力基础设施的安全构成严重威胁，因此需要准确的缺陷检测以确保结构的长久性和灾害预防。传统的检测方法依赖于物理先验知识，但其泛化能力有限，且容易受到水下环境干扰的影响。尽管深度学习在端到端特征学习方面具有巨大潜力，但现有模型在感受野建模和可用水下裂纹数据集方面存在不足。本研究提出了一种基于逆域增强的上下文时频特征融合框架，用于水下混凝土裂纹检测。该框架包含三项关键创新：首先采用逆域增强策略恢复水下图像的红色和绿色通道，并扩充训练数据集；其次引入了上下文时频特征融合模块（CTFFB），该模块结合了局部-全局注意力机制和可学习的小波卷积，以在复杂光照和弱纹理条件下提高裂纹检测能力；最后采用了轻量级的渐进式深度可分离C3k2（PDS-C3k2）模块，增强了通道间交互和边缘表达能力，同时保持了计算效率。实验验证表明，该框架的性能优于现有方法，mAP50和mAP50–95得分分别为0.776和0.475。全面的可视化分析和消融实验进一步证实了各模块在增强特征表达和检测精度方面的有效性。

代码

Shiqin-ssq/Contextual-Time-Frequency-Feature-Fusion

引言

混凝土结构在海洋工程中得到广泛应用，包括水坝、水下管道和桥梁基础等，其结构完整性对项目的运行安全和使用寿命至关重要[1]。如果水下结构裂纹未能及时发现和修复，会降低承载能力和整体刚度。此外，裂纹还会促进腐蚀介质扩散到混凝土中，加速钢筋腐蚀和混凝土损坏，最终可能导致泄漏、部分失效甚至整体倒塌[2]。因此，水下裂纹检测已成为水力结构维护和安全运行的重要环节。

早期，水下结构表面裂纹的检测主要依靠人工水下检查。然而，这种方法效率低下且可靠性差，原因包括能见度低、操作成本高、存在生命风险以及人为错误的主观性。随后，研究人员开始引入基于图像的计算机视觉技术进行裂纹识别。最初的研究主要使用传统的图像处理算法，如边缘检测、纹理特征提取和阈值分割来提取裂纹区域，这在一定程度上提高了客观性和效率。Haar变换、傅里叶变换和Sobel算子被用于水下裂纹检测[3]。Fan等人[4]提出了基于局部-全局聚类分析的CrackLG算法。Talab等人[5]结合阈值分割使用了Sobel滤波来提取裂纹边缘。Lei等人[6]改进了Canny算法，加入了双边滤波和Sobel算子。但这些传统方法受图像颜色失真、模糊、光照不均和对比度低的影响，难以有效提取特征，从而降低了检测精度。此外，这些方法基于物理先验和复杂的图像变换，计算复杂度较高，适应性较差，限制了其在实时和鲁棒检测中的应用。

为了解决传统方法的局限性，如适应复杂水下环境的能力差、特征表示能力弱和处理效率低等问题，本文提出了一种基于端到端训练和强大非线性建模能力的通用深度学习方法。该方法能够自动从图像中学习多尺度语义信息，有效抑制水下图像的干扰、模糊、低对比度和噪声，显著提高裂纹识别精度和边缘定位能力。例如，Yang等人[7]设计了结合特征金字塔和分层提升机制的网络结构以实现高精度裂纹检测。Kang等人[8]使用集成Faster R-CNN实现了高效的裂纹区域检测。Zhu等人[9]提出了基于轻量级注意力的特征融合策略和单阶段多盒检测器，用于快速检测混凝土裂纹。Ma等人[10]提出了一种基于GAN的图像修复和重建误差的无监督裂纹分割方法。随着推理和应用效率的进一步提升，深度学习已成为水下裂纹检测的主要研究热点。

然而，现有检测方法仍存在一些问题，如易受噪声干扰、边缘模糊以及数据集规模小等问题，尤其是在复杂的水下环境中。首先，由于水下数据采集和标注的成本高且难度大，大多数方法使用的是少量真实水下数据集或通过类海床图像转换进行迁移学习来扩充数据集，这限制了模型的泛化能力。其次，主流模型在处理微小裂纹、复杂背景和模糊边缘时，感受野较小，难以提取边界处的细微纹理和特征。

此外，大多数检测框架采用参数量较大的骨干网络，难以在检测精度和计算量之间取得平衡，从而限制了其在资源有限的目标环境中的应用。

为了解决这些问题，本研究提出了一个优化的水下裂纹检测框架，重点关注数据增强、特征提取和轻量化设计三个方面。本文的主要贡献如下：

逆域增强策略：采用启发式水下感知增强（HUPE）算法[11]通过流模型将水下图像转换为伪空气域图像，并将增强后的图像按比例整合到空气域裂纹数据集中，以增强跨域泛化能力并缓解水下数据不足的问题。

上下文时频特征融合模块：CTFFB模块替代了YOLO11[12]中的原始特征连接方式，利用局部-全局注意力模型来捕捉上下文时间特征，并引入二维离散小波卷积来提取频域信息。时频特征融合能够产生更具表现力的特征表示，从而在背景复杂的情况下提高裂纹检测精度。

轻量化部署优化：YOLOv13[13]引入了DS-C3k2模块，采用深度可分离卷积来减少参数和计算成本。然而，深度可分离卷积在跨通道特征融合方面存在局限性。为进一步增强跨通道特征融合并保留边缘检测的轻量化效率，本文提出了PDS-C3k2模块，该模块采用了更强的通道混合设计。

部分代码片段

水下图像增强方法

与空气中不同，水下环境中不同波长的光（如红、绿、蓝）衰减速率不同，导致图像呈现蓝绿色调。此外，水中的悬浮颗粒会吸收和散射光线，造成图像模糊、对比度低和雾蒙蒙的效果。水流扰动也会在图像形成过程中引入运动抖动，进一步加剧图像模糊和雾蒙蒙的现象[14]。这些因素使得特征提取变得困难。

方法

在本研究中，我们提出了一种基于逆域增强的上下文时频特征融合网络，用于水坝的水下裂纹检测，如图1所示。该网络基于YOLO11构建，通过集成逆域增强策略、上下文感知时频特征融合模块和轻量化结构设计，提高了在复杂水下条件下的精细裂纹检测能力。

实验设置

实验在配备NVIDIA RTX 2080 Ti GPU（11 GB VRAM）、Intel Xeon Platinum 8255C处理器（12个vCPU，2.50 GHz）和40 GB内存的服务器平台上进行，操作系统为Ubuntu 20.04。本研究使用的深度学习框架为PyTorch 2.0.0，训练和推理均在CUDA 11.8环境下实现。

训练过程中，所有输入图像被调整为640×640像素，批量大小为8，训练周期共计400轮。采用随机梯度下降（SGD）优化器进行训练。

结论

本文旨在改进复杂水下环境下的水下裂纹检测方法。水下图像采集受到多种因素影响，导致图像质量较低，水下数据集有限，传统模型缺乏感受野和通道信息建模能力。为了解决这些问题，本文提出了一种基于两种原理的增强检测框架：一是通过逆域方法解决数据集不足的问题

CRediT作者贡献声明

沈世勤：撰写——审稿与编辑、初稿撰写、可视化、方法论、验证、软件实现、概念构建、形式分析、数据管理；魏瑞凯：可视化、验证、软件实现、方法论、形式分析、数据管理、概念构建；孙盼峰：可视化、验证、软件实现、方法论、形式分析、数据管理、概念构建；张学武：监督、研究调查。

CRediT作者贡献声明

沈世勤：撰写——审稿与编辑、初稿撰写、可视化、验证、软件实现、方法论、形式分析、数据管理、概念构建。魏瑞凯：软件实现、方法论、数据管理、概念构建。孙盼峰：软件实现、方法论、数据管理、概念构建。张学武：监督、资源协调、资金筹集。

利益冲突声明

作者声明没有已知的财务利益冲突或个人关系可能影响本文的研究工作。

致谢

本项工作部分得到了国家重点研发计划（项目编号：2022YFB4703404）的支持。