利用3D-CNN和两阶段迁移学习框架进行基于视频的定量波参数估计

《Ocean Engineering》：Quantitative video-based wave parameter estimation using a 3D-CNN and two-stage transfer learning framework

高效非接触式波浪监测方法研究基于3D-CNN的时空特征提取与迁移学习策略。通过模拟数据预训练和小样本实地数据微调，结合POD分解去噪技术，实现了显著波高和峰值周期的高精度估算，有效降低了对传统浮标式监测的高成本依赖。

　　

刘汉文|秦静西|提子龙

西南交通大学桥梁工程系，中国成都，610031

摘要

准确高效的波浪监测对于大型海洋基础设施的安全和长期运行至关重要，然而传统的监测方法（如多普勒剖面仪、浮标和固定监测站）成本高昂、维护困难且覆盖范围有限。计算机视觉技术的最新进展使得非接触式的基于视频的波浪测量方法成为可能。然而，大多数现有研究依赖于单帧分析或需要大量标注的现场数据，这限制了它们的鲁棒性和适用性。为了克服这些挑战，本研究开发了一个深度学习框架，用于定量识别波浪参数。该框架采用3D卷积神经网络（3D-CNN）从单目视频序列中提取时空特征，并结合了两阶段迁移学习策略：利用模拟波浪数据进行预训练，利用少量现场测量数据进行微调。此外，还采用了基于适当正交分解（POD）的定制输入特征设计和去噪技术，以在复杂的视觉条件下提升性能。大量实验表明，所提出的方法在预测波高和周期方面具有高精度，同时大幅减少了对昂贵现场测量的依赖。这些结果凸显了该框架作为海洋工程中低成本、鲁棒且可扩展的非接触式波浪监测解决方案的潜力。

引言

实时准确地获取海况参数对于跨海桥梁、海上风电场、港口和油气平台等重大海洋工程项目的规划、建设、维护和长期运行安全至关重要（Bitner-Gregersen等人，2016；Wang等人，2018；Haver，2005；She等人，2023；Costas等人，2023；Abdel Raheem等人，2021）。动态监测海洋环境不仅有助于在施工期间保护人员和设备，还能提供支持设计验证和海洋基础设施长期健康监测的关键数据（Dong和Luo，2022；Prahlada等人，2025；“Towards a Risk”，2016）。因此，建立一种高效可靠的波浪监测方法对工程实践具有重要的实际价值。

目前，主流的波浪监测方法包括声学多普勒流速剖面仪（ADCP）、波浪浮标和固定监测站。尽管这些方法能够提供高精度测量，但它们存在共同的缺点，如设备成本高和空间覆盖范围有限（Muhammad等人，2022；Pandian等人，2010）。此外，每种设备都面临特定的挑战：ADCP虽然操作安全且能够测量多个深度的速度剖面，但需要专业船只和熟练人员来部署和回收，导致总体成本较高（Shao等人，2024；Codiga，2015；Horstman等人，2011；Li和Boswell，2021）。波浪浮标尽管技术成熟且准确可靠，但安装和日常维护费用较高，并且在极端海况下容易受损或丢失（Beckman和Long，2022；Kodaira等人，2024）。固定监测站的建设成本极高，一旦安装后无法重新定位；此外，它们受水深限制，不适合超深环境（Kim等人，2023）。因此，探索一种低成本、易于部署且具有足够准确性的新波浪监测方法对海洋工程领域具有重要的研究价值和实际意义。

得益于计算机视觉技术的进步，基于视频的非接触式方法已成为波浪监测的有希望的替代方案。这些方法利用岸基或高架摄像机从视频图像中估计波浪参数，具有低成本、广泛的空间覆盖范围、灵活的部署方式以及无需水中仪器的优势。例如，研究人员已经证明，消费级摄像机可以配置成立体视觉系统，能够提取波高和周期（Vieira等人，2020）。已经探索了多种基于立体视觉的技术，一些方法通过基于网格的特征匹配来增强立体对应关系（Sun等人，2022），其他方法则通过分析视差图实现自主平台的实时海洋表面映射（Greenberg和Ben-Moshe，2023）。尽管取得了这些成就，大多数基于视觉的研究仍然依赖于传统的图像处理技术（如边缘检测和纹理分析），这些技术对光照变化和背景复杂性非常敏感（Nalpantidis和Gasteratos，2010）。更关键的是，许多经典算法（如光流或基于特征的跟踪）在这个领域无效，因为它们依赖于跟踪稳定的特征点，而在动态海面上这些特征点并不存在（Greenberg和Ben-Moshe，2023）。这些局限性表明，需要更先进的学习方法来在多样化和具有挑战性的海洋条件下实现可靠的性能。

近年来，深度学习技术在图像和视频识别方面取得了显著进展，为传统的基于特征的方法提供了强大的替代方案（Krizhevsky等人，2012；He等人，2016）。除了通用计算机视觉之外，这些技术已成功应用于各种工程领域，显示出在无损检测和结构健康监测方面的强大性能。例如，结合地面穿透雷达和深度学习的混合方法实现了桥梁甲板的自动缺陷识别（Yu等人，2025），而基于超声波的诊断利用深度学习即使在温度变化的情况下也能有效评估混凝土压缩损伤（Wang等人，2024）。这些成功展示了CNN从复杂传感器数据中提取定量特征的能力。受此启发，研究人员开始将深度学习应用于波浪监测。例如，一些研究根据蒲福风级对海况进行了分类，并报告了有希望的识别性能（Choi等人，2020；Xu等人，2024），而最近的研究则解决了船上摄像机的挑战性场景，利用先进的模型（如Vision Transformers）实现了稳健的局部估计（Pobar等人）。其他工作直接从合成孔径雷达（SAR）图像中预测了波高，与传统依赖手动特征提取的方法相比，准确率提高了多达50%（Quach等人，2021）。进一步的研究表明，可以使用深度学习算法直接从岸基CCTV录像中检测多个波浪参数，如波周期和波高（Yoon等人，2021）。这些进展突显了深度学习自动处理各种遥感数据的潜力。

然而，大多数现有的海洋工程研究使用的是在单帧图像上训练的二维卷积网络（2D-CNN）（Greenberg和Ben-Moshe，2023）。虽然这些方法在捕捉波浪形态方面有效，但在估计波高和周期等定量参数方面存在固有的局限性，因为这些参数依赖于时空动态。此外，以前的研究通常需要大量的现场标注数据才能达到可接受的精度（Muhammad等人，2022；Lou等人，2023），这使得依赖大量标注数据集成为实际工程应用的主要障碍，因为在这些应用中数据收集成本高昂且受到物流限制。此外，很少有研究致力于系统评估特征表示并探索去噪策略以提高鲁棒性和可行性。这些局限性表明，需要新的方法来利用视频序列中的时间信息，减少对标注数据集的依赖，并整合特征设计、预处理和混合数据构建，以实现准确和可靠的波浪参数估计。

为了解决上述局限性，本研究提出了一个基于深度学习的框架，用于定量识别波浪参数。该框架构建了一个3D卷积神经网络（3D-CNN），从单目视频序列中提取波浪的时空特征。采用了两阶段迁移学习策略，结合了在模拟波浪数据上的预训练和在有限现场测量上的微调。此外，还整合了定制的输入特征设计和基于POD的去噪技术，以提高视频输入质量和模型在复杂条件下的鲁棒性。

本研究的主要贡献如下：

1

一种新的基于视频的深度学习框架：通过从单帧分析转向基于视频的时空建模，本研究证明了深度学习可以实现波浪参数的定量识别，而不仅仅是分类。

2.

为海洋应用量身定制的两阶段迁移学习策略：所提出的两阶段迁移学习策略大大减少了对外部大规模现场测量的依赖，使该方法在数据收集成本高且有限的海洋工程场景中更加实用。

3.

特征工程和去噪的整合：通过系统评估特征表示和基于POD的去噪，该框架即使在具有挑战性的视觉环境中也能保持准确性和稳定性。

总体而言，这些贡献为海洋工程中的非接触式波浪监测建立了一个低成本且可扩展的框架。

数据集

将深度学习应用于海洋工程的一个关键挑战是缺乏标注良好的现场数据。为了克服这一限制，我们构建了一个混合数据集，将大规模数值模拟数据与现场收集的观测数据相结合。模拟数据集为模型预训练提供了丰富多样的样本，能够提取波浪运动的通用时空特征。虽然现场数据集规模较小，但它提供了真实的数据

提出的框架

在建立了混合数据集的基础上，本章介绍了旨在利用这些数据进行波浪参数定量估计的深度学习框架。该框架结合了定制的三维卷积神经网络（3D-CNN）、定制的输入特征构建、基于POD的预处理和两阶段迁移学习策略。这些组件共同旨在应对现场数据有限和现场测量噪声的问题

结果与讨论

基于第3章建立的框架，本章通过一系列受控实验进行了系统评估。目的是验证所提出模型的整体有效性，并分析其核心组件（包括迁移学习、输入特征构建、基于POD的预处理和训练数据规模）对最终预测性能的具体贡献。

结论

本研究提出了一种新颖的、低成本的、非接触式的海洋工程波浪参数定量监测框架。为了解决标注现场数据稀缺的问题，通过结合大规模模拟波浪视频和现场观测数据构建了混合数据集。然后开发了一个3D卷积神经网络（3D-CNN），从单目视频序列中提取时空特征，从而能够直接估计波高和周期。

CRediT作者贡献声明

刘汉文：撰写——原始草稿、软件、方法论、调查、概念化。秦静西：撰写——审阅与编辑、撰写——原始草稿、软件、方法论、调查。提子龙：撰写——审阅与编辑、监督、方法论、调查、概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

致谢

本文的工作得到了国家自然科学基金（编号52378199）的支持。