主动式和被动式卫星传感器的协同作用在实现稳健的海雾检测中的效果：一种基于ICOADS数据约束的两阶段机器学习模型

海雾检测、机器学习、CALIOP、FY-4A、ICOADS、POD、物理约束模型、多源数据融合、实时监测

　　

颜璐宇|范学华|傅迪松|史宏荣|陈琳|李波|蒋珠辉|甄晓琼|孙晓光|夏向高

中国科学院大气物理研究所中层大气与全球环境观测实验室（LAGEO），北京 100029，中国

摘要

海雾是一种普遍存在的海洋危险，是导致大多数低能见度相关交通事故的原因。由于观测数据的稀疏性以及被动卫星数据中海雾和低云在光谱上的相似性，因此在广阔的海洋上准确检测海雾仍然具有挑战性。为了解决这个问题，我们提出了一种新的、基于物理约束的机器学习框架，该框架结合了主动激光雷达、地球静止图像和地面观测数据，以实现可靠的海雾检测。我们的方法首先通过利用再分析得到的海洋边界层热力学信息，从CALIOP激光雷达剖面中推导出准确的海雾标签，从而建立了一个高保真度的数据集。验证结果表明，该方法的检测概率（POD）达到了92.9%。这些标签随后用于训练Light Gradient Boosting Machine（LightGBM）模型，该模型使用了FY-4A地球静止卫星的多光谱红外数据。最后一步后处理结合了ICOADS地面报告，进一步提高了空间一致性。这使得季节性的检测概率超过了88%，在夏季甚至达到了99%以上，同时保持了大约12%的误检概率（POFD）。这项研究验证了通过机器学习整合主动和被动卫星传感技术的有效性，为实时海洋能见度监测和早期预警提供了一种可扩展且有效的解决方案。

引言

海雾对海上活动（包括运输、渔业和港口运营）构成了重大威胁，并且经常是海上事故的原因。据估计，60-70%的船舶碰撞事件是由海雾引起的，在浓雾条件下，事故率超过70%（Wang等人，2023a）。这些统计数据突显了迫切需要先进的检测方法来降低与海雾相关的风险。

传统的基于地面的检测方法主要依赖于沿海站点、岛屿、浮标和船只的视觉评估和仪器能见度测量。主动遥感方法（如毫米波雷达和激光雷达）也被用来捕捉海雾的水平和垂直结构，从而提供有关其形成和消散过程的见解（Li等人，2024；Zhu等人，2017）。然而，这些传统方法存在固有的局限性：地形障碍经常影响沿海站点数据的完整性，而浮标和船只的观测在开阔海域的空间采样受到严重限制（Freeman等人，2017）。

卫星被动遥感已成为海雾检测的关键替代方案，尤其是在现场观测稀少或不可用的广阔海洋区域（Tan等人，2024）。卫星提供了广泛的空间覆盖范围，并能够连续实时监测海雾的形成、发展和消散过程。尽管如此，使用被动卫星数据准确检测海雾仍然具有挑战性，特别是在三个关键方面：（1）区分云层和晴朗天气；（2）区分低层云和高层云；（3）区分低层层云和雾（Kora?in和Dorman，2017）。

基于物理原理，已经开发了多种海雾检测方法。通过观测地球表面和大气的热红外（IR）辐射，可以在白天和夜间实现海雾的检测（Wang等人，2023b）。由于雾滴通常比云滴小，它们在卫星成像仪的中波红外（MWIR，3-5 μm）通道发出的辐射比长波红外（LWIR，10-12 μm）通道要弱（Yang等人，2021）。这种物理差异为利用MWIR和LWIR之间的亮度温度差（BTD）进行检测提供了基础。然而，在白天，MWIR中的反射太阳辐射会增加观测到的亮度温度，导致BTD随时间变化，从而使检测过程变得复杂（Sendur和Baertlein，1999）。

基于这些物理原理，传统的基于卫星的海雾检测方法通常会对光谱测量或其衍生物应用经验阈值。虽然这些基于阈值的方法在某些条件下可以有效识别海雾，但在区分海雾和低层层云方面面临显著挑战，因为两者在滴粒大小和垂直范围上具有相似性。为了克服这些限制，最近的研究越来越多地转向机器学习（ML）。通过利用大型、带标签的训练数据集，ML算法能够捕捉比基于阈值的方法更复杂的特征关系。特别是深度学习（DL）架构，如全卷积网络（FCN）、条件随机场（CRF）、生成对抗网络（GAN）、U-Net和注意力机制，在海雾检测方面显示出了强大的潜力。这些方法已成功应用于COMS、Himawari和Fengyun等平台的地球静止卫星数据（Zhu等人，2019；Huang等人，2022；Li等人，2023）。然而，ML模型的有效性仍然严重依赖于可用训练数据的质量和数量。

由于地面海雾观测数据稀缺，地球静止卫星算法的训练标签通常依赖于主动卫星传感器。机载激光雷达相比被动传感器具有明显优势，因为它可以垂直分辨雾层，通过后向散射强度和退极化比率来区分雾层和低云。自Cloud-Aerosol Lidar and Infrared Pathfinder Satellite Observations（CALIPSO）任务发射以来，该任务配备了Cloud-Aerosol Lidar with Orthogonal Polarization（CALIOP），能够穿透薄云和气溶胶，提供了独特的垂直测量能力。这一能力使CALIOP特别适用于研究传统被动传感器难以区分雾和海洋背景的区域中的雾形成和分布（Xiao等人，2023）。通过检索衰减后的后向散射系数和垂直结构信息，CALIOP已被广泛用于提取海雾样本（Wan等人，2018）。例如，Wu等人（2015）利用CALIOP的垂直剖面分析以及垂直特征掩码（VFM）和后向散射系数来识别海雾层。

尽管有这些优势，但CALIOP的操作特征检测产品并未明确标识海雾，这限制了它们的直接应用性。为了解决这一问题，Xiao等人（2023）提出了一种海雾检测方法，称为CAL-Re-Fog（基于CALIOP和再分析的海雾检测）。CAL-Re-Fog解决了两个主要挑战：（1）光学厚云对激光雷达信号的衰减，这会掩盖下方的雾；（2）来自海洋表面的干扰信号，这些信号可能模仿雾信号。通过将激光雷达剖面与再分析数据结合，该方法提高了检测的准确性和可靠性。然而，CAL-Re-Fog主要依赖于近地面参数的气候平均值，并未明确考虑湿度、温度逆温或风模式的季节性变化——这些因素对雾的形成至关重要。这种遗漏可能限制了其在检测季节性变化的海雾事件时的有效性。此外，CALIOP的窄扫描范围和不连续的极轨采样限制了其作为独立监测工具的实用性。

为了克服这些限制，本研究提出了一种新的海雾检测框架，该框架将多传感器卫星观测与机器学习优化相结合。该方法包括三个系统阶段：（1）雾标签生成——通过结合海洋边界层热力学的季节性适应性和后向散射剖面分析，从CALIOP数据中识别海雾事件，从而在不同大气条件下实现可靠检测。（2）模型开发——使用FY-4A先进地球同步辐射成像仪（AGRI）的红外观测数据和CALIOP推导出的雾标签作为参考，构建一个监督检测模型。这一步利用了AGRI的高时间分辨率（15分钟间隔）来补偿CALIOP的稀疏采样。（3）后处理校正——为了进一步完善基于AGRI的检测结果，使用国际综合海洋-大气数据集（ICOADS）的实地观测数据进行校正。通过整合船只和浮标的能见度记录，这一步减少了区域偏差，提高了检测结果在海洋操作应用中的可靠性。

本文的其余部分组织如下。第2节描述了多源数据集，包括CALIOP、FY-4A/AGRI和ICOADS观测数据。第3节概述了方法论框架，包括生成具有季节性边界层适应性的基于CALIOP的海雾标签，使用LightGBM开发FY-4A/AGRI检测模型，以及使用ICOADS数据的后处理校正。第4节评估了在不同气象条件和时间尺度下的检测性能。第5节讨论了局限性，第6节总结了关键发现，并强调了在海上安全应用中的实施前景。

数据

本研究采用了一种综合的多源数据整合策略来提高海雾检测的准确性。CALIOP Level 1B剖面和Level 2垂直特征掩码（VFM）数据是构建季节性分辨海雾参考标签的基础。Modern-Era Retrospective analysis for Research and Applications，Version 2（MERRA-2）再分析数据集提供了关键的气象变量，包括相对湿度（RH）、温度和地表风速

方法论

本研究详细介绍了一种增强海雾检测的多传感器算法。如图1所示，该方法分为三个阶段：

(1) 高精度标签构建（基于CALIOP）：首先，我们从CALIOP L1b数据生成可靠的真实标签。使用基于后向散射比率阈值的剖面扫描算法来估计初始的特征顶部和底部高度。至关重要的是，应用了二次高斯导数拟合来细化这些边界

结果

本节分三个部分评估了所提出的海雾检测框架。首先，评估了基于CALIOP的海雾标签的可靠性，以确保其适合作为参考数据。其次，分析了FY-4A/AGRI检测模型的性能，重点关注其在不同气象条件和时间尺度上的预测能力。最后，探讨了结合ICOADS观测数据进行后处理校正的好处。

讨论与总结

本研究建立并验证了一种新颖的两阶段地理空间框架，用于大规模海雾检测，该框架创新性地结合了主动激光雷达、地球静止图像和地面观测。我们的方法的核心在于利用CALIOP的高垂直分辨率和季节性适应的热力学阈值，为FY-4A地球静止卫星建立了可靠的检测能力。我们的研究结果得出了三个主要结论，这些结论与之前的研究结果一致并得到了验证

数据声明

本研究使用的数据来自以下来源：

CALIOP Level 2垂直特征掩码（VFM）和后向散射数据：可从NASA Langley研究中心大气科学数据中心（ASDC）公开获取：https://subset.larc.nasa.gov/calipso/

气象再分析数据（例如，MERRA-2）：可从Goddard地球科学数据和服务中心（GES DISC）公开获取：https://disc.gsfc.nasa.gov/

观测数据（例如，ICOADS）：可从

CRediT作者贡献声明

颜璐宇：撰写——初稿，正式分析。范学华：撰写——审阅与编辑，调查，资金获取，概念化。傅迪松：撰写——初稿，资金获取，正式分析，概念化。史宏荣：撰写——审阅与编辑，数据管理。陈琳：撰写——审阅与编辑，调查。李波：调查。蒋珠辉：撰写——审阅与编辑，数据管理。甄晓琼：撰写——审阅与编辑，数据管理。孙晓光：

资助

本研究得到了大气环境与极端气象国家重点实验室（2024QN11）和国家自然科学基金（资助编号：42375138，42030708）的支持。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。