《Physical Communication》：Improving rainfall retrieval accuracy using cross-Modal deep learning: Merging wifi with commercial microwave link
编辑推荐：
商业微波链路（CML）与WiFi信道状态信息（CSI）融合的深度学习模型提升降雨估算精度，采用动态时间对齐、小波去噪和Savitzky-Golay滤波预处理数据，通过门控跨模态注意力机制和动态加权网络实现多源特征融合，实验显示相关系数达0.9541，RMSE为0.0271 mm/h。
陶伟涛|连斌|魏中兴|宋鲁明|黄莉莉|赵继军
河北工程大学信息与电气工程学院，邯郸市，056038，河北省，中国
摘要
商业微波链路（CMLs）在气象学和水文学中受到了越来越多的关注，作为一种成本效益高的降雨量反演方法。然而，CMLs典型的单链路和高频结构往往限制了降雨量反演的准确性。本研究提出了一种跨模态深度学习模型，该模型将WiFi的信道状态信息（CSI）与CMLs接收到的信号电平（RSL）结合起来，以实现高精度的降雨量反演。首先，应用快速动态时间规整算法对RSL和CSI数据进行对齐。然后使用小波去噪和Savitzky-Golay滤波对CSI数据进行去噪处理。同时，对RSL数据进行特征工程处理，包括梯度提取、滚动统计和小波基特征提取。接下来利用门控跨模态注意力机制进行特征级融合，并通过动态加权网络自适应调整每种模态的贡献。最后，通过一致性正则化的决策级融合模块生成最终的降雨强度估计值。实验结果表明，所提出的模型获得了0.9541的皮尔逊相关系数、0.0271毫米/小时的均方根误差（RMSE）和1.8948的变异系数（CV），以及-30.4%的相对偏差，证明了其通过WiFi-CML数据融合提高降雨量反演准确性的有效性。
引言
全球变暖的加速增加了极端降雨事件的频率，引发了灾难性洪水，破坏了基础设施，并造成了严重的农业损失，威胁到了生态和社会经济的稳定[1]。因此，高精度、及时的降雨量反演对于气象学、水文学、农业和城市管理至关重要[2]。传统的降雨量反演依赖于雨量计、气象雷达和气象卫星[3]。尽管雨量计能够提供高精度的点测量数据，但其分布稀疏且不均匀，通常无法可靠地反映大范围的降水量[4]。气象雷达通过发射电磁波并接收其回波来估计降雨量。然而，这种方法测量的是高空的云水含量，这与地面降水量有显著差异，并且在低仰角时容易受到地面杂波的遮挡[5]。气象卫星具有全球覆盖能力，但受到粗糙的时空分辨率、云层引起的误差和显著的数据延迟的限制[6]。
为了解决这些限制，研究人员探索了利用无线通信基础设施的创新方法。随着集成传感和通信技术的进步，通信网络现在可以通过共享频谱和硬件来同时服务于环境监测[7]。最近在基于学习的通信系统和AI驱动的空间-空气-地面集成网络资源管理方面的进展，突显了利用通信信号和学习模型进行传感和系统优化的更广泛趋势[8]、[9]、[10]、[11]。特别是，来自蜂窝网络的商业微波链路（CMLs）在气象学和水文学中作为成本效益高的降雨量反演方法受到了越来越多的关注[12]。包括以色列、荷兰和法国在内的多个国家的研究人员已经证明，分析CMLs中的信号衰减可以估计降水量。由雨滴吸收和散射引起的微波信号衰减被称为雨衰减，CML通过测量雨衰减来进行降雨量反演[13]。信号衰减与降雨强度之间的幂律关系可以用来推导路径平均降雨率[14]。因此，密集部署的CMLs网络可以用来重建区域降雨图[15]。除了估计降雨量外，CMLs还被用于降水类型分类[16]、大气水汽监测[17]和雷达校准[18]等任务。最近的研究强调了它们在数据稀缺地区生成高分辨率降雨图的有效性，以及其在城市应用中的潜力[19]、[20]。然而，从单个CML获取降雨量的准确性受到多种因素的限制。首先，信号衰减不仅受降雨量影响，还受湿度、温度和风速的影响[21]。其次，空间降雨量的变化性，特别是沿传播路径的滴径分布的不均匀性，限制了基于微波链路的降雨量估计的准确性。尽管路径平均降雨率与路径平均特定衰减之间存在近似线性关系，但这种关系强烈依赖于频率、路径长度和滴径分布的空间结构[22]。此外，信号噪声和硬件缺陷限制了反演的可靠性[23]。为了应对这些挑战，研究人员开发了包括机器学习算法[24]和多源数据整合[25]在内的方法。最近，物理神经网络和硬件加速神经计算的进步展示了超快速和节能推理的潜力，为实时传感应用中复杂融合模型的部署提供了有希望的途径[26]。
其中，整合多个观测源的数据融合技术已成为提高降雨量反演准确性的关键策略[27]、[28]。Aich等人[29]提出将近地表CML数据与多高度雷达观测数据融合，以估计垂直降雨剖面和云底高度，并在干旱地区与雨滴计和雷达激光雷达系统的验证中获得了0.96的相关系数。同样，Wang等人[30]证明CMLs可以替代雨量计来校正天气雷达的偏差，从而改进大规模降水量反演。Fencl等人[31]提倡使用标准化的数据格式，以便于CML和其他机会主义传感器与传统监测网络的无缝集成。
尽管取得了这些进展，当前的多传感器融合策略（如将CML数据与雷达或卫星产品结合）仍然存在局限性[32]。主要挑战是不同传感器的时空分辨率不匹配：雷达数据每几分钟更新一次，卫星的重访时间为几小时，而CMLs提供几公里范围内的路径平均测量数据[33]。此外，许多融合方案依赖于静态加权或经验校正，在风引起的衰落或湿度快速变化等动态条件下表现不佳[34]。大多数框架忽略了WiFi中使用的低频微波链路中包含的丰富多径信息，这些链路是一种特别适合城市环境的广泛可用数据源[35]、[36]。
据我们所知，尚无先前的研究明确探讨过一种深度跨模态学习框架，该框架将低频WiFi CSI与高频CML RSL融合用于降雨量反演。之前的融合工作大多将CML衍生的衰减与雷达或卫星产品结合，而单独的努力则将CML RSL作为机会主义的路径平均传感模式。然而，这些方法都有各自的缺点：雷达、卫星和CML RSL的组合提供了广泛的空间覆盖范围，但依赖于路径平均或视距测量，这可能会掩盖局部散射和短距离变化；相反，仅使用WiFi的方法提供了高时间分辨率和对局部多径动态的敏感性，但缺乏广泛的空间代表性，并且更容易受到硬件和传播引起的变化的影响[38]。相比之下，我们的工作在统一的深度跨模态架构中整合了WiFi CSI和CML RSL，通过门控注意力和自适应加权明确建模了跨模态交互。这种设计使模型能够利用WiFi的短距离、高分辨率多径波动，同时利用CML的远距离、路径平均衰减，从而减轻了单一模态和传统融合方法的个别局限性，并提高了降雨量反演的准确性。
在这项研究中，我们提出了一种通过整合24 GHz CML的RSL数据和2.4 GHz WiFi系统的CSI数据进行降雨量反演的方法。CSI数据提供了高分辨率的信号变化测量，能够检测到由雨滴在短距离（数十米）内引起的细粒度散射。相比之下，RSL数据提供了几公里范围内路径平均降雨的稳定、长距离测量。这些信号的互补性使得降雨量反演更加准确。基于这一多模态概念，我们提出了一个用于降雨量反演的深度学习模型。该模型使用多尺度卷积层和注意力机制处理CSI数据，并使用基于变压器的编码器来建模RSL序列中的时间动态。我们进一步引入了一种融合策略，包括特征级跨模态注意力以促进模态交互，动态加权以自适应平衡贡献，以及具有 consistency 正则化的决策级融合。实验评估结果显示，皮尔逊相关系数（PCC）为0.9541，均方根误差（RMSE）为0.0271毫米/小时，变异系数（CV）为1.8948，相对偏差（RB）为-30.40%。这些结果展示了多模态数据融合在高精度降雨量反演方面的潜力。本工作的主要贡献总结如下：
- 1.
提出了一个融合2.4 GHz WiFi CSI和24 GHz CML RSL的降雨量反演的多模态模型。结合了特征级门控跨模态注意力、动态模态加权和自适应决策级融合，以实现受控的信息传输、自适应特征平衡和一致性正则化的聚合。
- 2.
预处理流程包括使用快速动态时间规整（fastDTW）进行时间对齐，然后使用db4小波阈值进行CSI去噪，以及基于分位数的高斯化进行跨模态缩放。
- 3.
原始数据集和源代码以开源许可证发布，以便于重现性和进一步研究。具体访问详情、许可证条款和使用说明在数据可用性声明中提供。
本文的其余部分组织如下。第2节介绍了材料和方法，包括数据收集、预处理技术和提出的跨模态深度学习架构。第3节详细介绍了实验设计和全面的结果分析。第4节讨论了我们的研究发现、局限性和实际意义。最后，第5节总结了本文的关键贡献和未来研究的方向。
部分片段
材料和方法
实验在中国河北省邯郸市的河北工程大学进行。如图1所示，在校园内部署了一个CML链路、一个WiFi链路和一个翻斗式雨量计。研究时间段覆盖2024年和2025年的6月和7月，这与邯郸对流降水的高峰季节相吻合。实验配置总结如下。
•WiFi链路：使用WiFi路由器作为发射器，配备有Intel 5300无线卡的Linux主机
数据集和评估指标
为了避免时间泄漏，并对模型的时间泛化能力进行真实评估，数据集（N = 9270个样本）按时间戳排序并按时间顺序划分。具体来说，最早的70%的样本（6,489个样本）用于训练，最新的30%（2,781个样本）用于验证；这些划分之间没有进行随机重排序。我们强调使用了手稿中报告的固定随机种子（seed = 42）
讨论
本研究表明，通过跨模态深度学习框架将2.4 GHz WiFi CSI与24 GHz CML RSL融合，与单一模态方法相比，显著提高了降雨量反演的准确性。所提出的FullModel比仅使用CSI或仅使用RSL的基线方法获得了更高的相关性和更低的RMSE，表明局部高分辨率多径信息和路径平均衰减测量提供了互补的降雨相关线索。统计测试进一步
结论
提出了一种融合WiFi CSI和CML RSL的跨模态深度学习方法用于降雨量反演。该流程包括受限的fastDTW对齐、两阶段CSI去噪、全面的RSL特征工程、门控跨模态注意力、动态模态加权和决策级融合，在相关性和误差指标（PCC = 0.9541，RMSE = 0.0271毫米/小时）方面取得了显著提升，相对于单一模态基线而言。统计测试和消融研究表明
CRediT作者贡献声明
陶伟涛：撰写——原始草稿，可视化，方法论，调查，形式分析，数据管理。连斌：方法论。魏中兴：数据管理，概念化。宋鲁明：数据管理，概念化。黄莉莉：概念化。赵继军：撰写——审阅与编辑，监督，概念化。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
陶伟涛于2022年获得中国郑州河南中医学院的计算机科学与技术学士学位。他目前在中国邯郸市河北工程大学信息与电气工程学院攻读硕士学位。自2023年以来，他一直在河北安全与保护信息感知与处理重点实验室从事降雨量无线监测的研究。
