基于百年尺度降雨数据的TSVD-LSTM模型对洪水的长期预测:以印度喀拉拉邦为例
《Progress in Disaster Science》:Long-term prediction of floods with a TSVD-LSTM based on the century-scale rainfall data: A case study on Kerala, India
【字体:
大
中
小
】
时间:2026年05月04日
来源:Progress in Disaster Science 3.8
编辑推荐:
P.M. Nasiya | M. Prathilothamai
计算机科学与工程系,Amrita 计算学院,哥印拜陀,Amrita Vishwa Vidyapeetham,印度
**摘要**
洪水是最具破坏性的自然灾害之一,因为它们会造成危及生命的情况并损坏全球的关
P.M. Nasiya | M. Prathilothamai
计算机科学与工程系,Amrita 计算学院,哥印拜陀,Amrita Vishwa Vidyapeetham,印度
**摘要**
洪水是最具破坏性的自然灾害之一,因为它们会造成危及生命的情况并损坏全球的关键基础设施。2018年喀拉拉邦的洪水是近代历史上最严重的洪水之一,由强降雨引发。由于缺乏早期预警系统,当局和社区未能做好应对准备。这种情况需要能够提供精确结果和快速操作能力的洪水预测系统。本研究提出了一种基于截断奇异值分解(TSVD)与长短期记忆网络(LSTM)的混合模型,用于区域洪水预测,并在喀拉拉邦数据集上进行了训练。该模型利用了印度气象部门(IMD)的降雨记录(1901-2025年)以及喀拉拉邦灾害管理局(KSDMA)提供的洪水相关信息、Kaggle数据集等开源档案、Malayala Manorama门户的新闻文章和社交媒体平台(尤其是Facebook)的数据,以实时跟踪洪水事件和社区报告。在研究中,TSVD用于降维、处理多重共线性并提取关键特征,而LSTM算法则捕捉洪水模式的长期时间依赖性。TSVD-LSTM模型的预测性能优于基线LSTM模型(准确率为0.958 vs 0.833),表明将降维技术与深度学习方法结合可以提升洪水预测能力。
**1. 引言**
持续的气候变化和人类活动使洪水成为全球最危险的水文灾害之一。这些灾害会导致重大破坏,影响人类活动、损坏基础设施、破坏农田并扰乱生态系统。自然水文系统因三个主要因素发生了重大变化:不可预测的降雨、温度上升、环境破坏、无计划的土地开发以及城市的迅速扩张。由于这些因素,多个地区的季节性降水模式和洪水事件变得更加难以预测。洪水预测模型需要同时具备准确性和可靠性,因为它们是灾害响应、可持续水资源管理和早期预警系统的重要工具。
喀拉拉邦位于印度西南部,属于沿海地区,受热带季风影响,地形陡峭且河流众多,因此容易发生洪水[1]。由于快速的城市发展和高人口密度,以及人们对自然排水系统的改造,该地区的洪水风险增加。喀拉拉邦的水文和地理特征使其成为研究长期洪水预测方法的重要场所。2018年的喀拉拉邦洪水灾害影响了该州的所有14个地区,暴露了当前洪水预测系统的重大缺陷。这次事件的广泛影响凸显了需要改进的预测模型,以便利用数据分析实现更好的预测结果,并为易受洪水影响的地区及时做好应急准备[2]。
喀拉拉邦的洪水对社会和经济造成了严重影响,破坏了基础设施、农田并扰乱了基本公共服务。持续的洪水事件暴露了三个方面的根本问题:水库管理和土地利用规划、城市排水系统以及洪泛区治理。洪水后的评估显示,下游地区和低洼地区仍然非常脆弱,这凸显了需要针对特定地点定制的精确洪水预测系统的必要性。喀拉拉邦政府通过印度气象部门、中央水利委员会(CWC)和喀拉拉邦灾害管理局(KSDMA)的协调努力,建立了洪水早期预警系统[3]。该系统利用降雨预测、河流水位观测、水库评估和大坝放水数据,通过不同颜色的警报发布洪水预警。当前系统存在三个主要局限性:空间精度低、无法结合不同类型的数据,以及在严重洪水事件期间对复杂洪水模式建模的能力较弱。
现有的局限性表明,先进的洪水预测模型需要特定的数据,并且需要根据气候变化调整以跟踪降雨和洪水模式的变化。传统的水文和统计模型在预测能力上有限,因为它们无法捕捉天气数据中的复杂和不可预测模式。深度学习方法,特别是LSTM网络,能够更好地模拟水文气象系统中多个变量随时间的变化。
本研究以喀拉拉邦为例,利用百年尺度的降雨记录来研究历史洪水事件、季节性降雨变化和年洪水频率。预测模型需要满足三个条件才能有效运行:在高维度、噪声较大和数据冗余的情况下,其性能会下降。因此,本研究采用降维技术从包含噪声和重复信息的多十年水文气象数据集中提取关键特征,并利用深度学习模型识别多个十年间的降雨和洪水长期时间模式。所提出的框架结合了上述方法,以提高预测精度并增强模型在长期洪水预测中的可靠性。
基于这些需求,本研究提出以下目标:
• 使用百年尺度的降雨数据开发并评估一种TSVD-LSTM混合深度学习模型进行长期洪水预测,并将其预测性能与基线LSTM模型进行比较。
**2. 相关工作**
2.1. 传统的水文和区域洪水研究
多项研究利用区域研究、遥感和水文建模方法探讨了喀拉拉邦的洪水模式,尤其是在2018年至2020年间发生的重大洪水事件之后。2018年喀拉拉邦洪水后的研究主要集中在三个领域:通过制图确定洪水边界、评估脆弱性以及利用遥感、GIS和水力建模研究降雨模式[5]。这些研究提供了重要的地理数据,帮助研究人员识别易受洪水影响的区域,但大多数研究集中在短期事件上,而非长期洪水预测。
遥感技术被广泛用于识别佩里亚尔河、潘巴河、巴拉塔普扎河、阿昌科维尔河和库塔纳德低洼地区的洪水范围。极端降雨事件和空间洪水分布的分析使用了Sentinel-1 SAR和Sentinel-2光学图像、TRMM、CHIRPS以及印度气象部门(IMD)的降雨记录[6]。研究表明,异常的季风降雨加上水库放水引发了2018年的喀拉拉邦洪水,影响了阿拉普扎、科塔亚姆、特里苏尔和帕塔南蒂塔地区。现有方法提供了有用的结果,但仅适用于特定事件,缺乏基于长期历史降雨数据预测未来事件的能力。
喀拉拉邦还进行了水力和水文建模研究,研究了整个流域的情况。巴拉塔普扎河流域在极端降雨条件下发生了严重的农业洪水,洪水频率分析和MIKE FLOOD模拟证实了这一点[7]。库塔纳德和潘巴河的研究发现,沿海相互作用、溢洪道操作和水库管理在强季风期间加剧了洪水强度[5]。基于物理的模型虽然有助于理解情况,但需要精确的水文数据和强大的计算能力,因此不适合用于区域尺度的长期洪水预测。
2.2. 用于洪水预测的机器学习方法
机器学习方法越来越多地应用于洪水预测,以提高预测精度,超越传统的水文模型。早期研究表明,海洋和大气预测因子(如海表温度和海平面压力)可以通过人工神经网络(ANNs)进行处理,以预测印度各地的水文区域干旱和洪水情况[8]。巴拉克河流域的研究使用高斯过程回归建立了上游流量与下游流量之间的模型,用于短期洪水预测[9]。基于树的机器学习方法在洪水相关研究中取得了有效结果。2015年金奈洪水的社交媒体数据通过随机森林和决策树算法进行了快速洪水损失评估[10]。随机森林模型利用气候数据和流域信息预测了未测量流域的极端洪水事件,其预测精度高于标准流量计算方法[11]。XGBoost与SHAP分析的结合有助于理解影响洪水风险评估的环境因素[12]。这些方法由于能捕捉更多系统操作,因此具有更好的预测性能。现有的机器学习模型适用于依赖预定义特征的短期预测,但在处理大规模数据中的长期时间依赖性方面存在不足。
机器学习模式识别功能可作为洪水分类工具,并通过其实现支持实时应用。涉及多次黄河洪水事件的研究表明,自适应机器学习模型改善了峰值流量预测和不同水文条件下的短期预警可靠性[13]。这些系统的开发表明,机器学习已成为操作性洪水监测的重要工具。然而,现有机器学习模型仍侧重于短期事件检测,难以处理历史降雨数据中的长期时间模式。洪水预测中的现有挑战促使人们转向深度学习模型作为首选解决方案。
2.3. 带有降维的深度学习
近期研究越来越多地将深度学习与降维技术结合,以提高处理高维水文气象数据时的洪水预测性能。预测模型的开发现在包括奇异值分解(SVD),以消除冗余信息,从而支持时间建模。混合SVD-核岭回归(SKRidge)模型的开发使研究人员能够在减少强相关环境变量影响的同时研究复杂的河流水位模式[14]。研究人员开发了ESMD-EWT-SVD-LSTM框架用于月度降雨预测,该框架利用基于SVD的去噪技术增强多尺度气候信号中非线性时间特征的提取[15]。上述深度学习方法主要关注降雨预测,而非洪水事件本身。
降维也被用作应用机器学习和深度学习模型之前的有效预处理步骤。先前的研究表明,基于SVD的特征压缩结合随机森林建模可以降低计算成本和内存需求,同时保持预测精度[4]。CUR分解作为一种替代的矩阵分解方法,可以在保持物理可解释性的同时降低特征维度[16]。结果表明,矩阵分解方法可以提高水文预测系统的计算性能和模型泛化能力。
近期研究开发了结合空间和时间学习能力的深度学习模型,以研究洪水模式,其中ConvLSTM模型通过同时跟踪空间降雨分布和时间洪水发展提高了预测精度[17][18]。深度学习已成功与YOLOv4和嵌套UNet深度学习模型结合,用于检测交通和卫星图像中的洪水[19][20]。基于事件的洪水监测模型具有高精度,但依赖于图像数据,需要强大的计算能力,限制了其在长期连续降雨数据中的应用。
尽管取得了这些进展,但在喀拉拉邦应用截断矩阵分解与深度时间学习进行长期洪水预测的研究仍较为有限。现有研究主要集中在短期事件检测和基于图像的洪水制图和模拟上,而非预测百年范围内的降雨。
**3. 降雨-洪水数据集**
本研究使用的数据来自Kaggle数据集,包含1901-2018年的月度降雨、年降雨量和洪水事件。另一个数据来源是印度气象部门(IMD)提供的1901-2025年的官方降雨数据集,该数据集提供月度、季节性和年降雨量信息,但缺乏洪水事件数据。两个数据集进行了交叉验证,发现1901-2018年的月度降雨量在两个数据集中相同;因此,Kaggle数据集中的洪水事件被添加到IMD数据集中。2019-2025年的洪水事件数据通过从Malayala Manorama等开源新闻门户和Facebook等社交网络平台中提取的洪水事件(使用“洪水”、“积水”、“溢出”等关键词过滤)进行补充。
研究使用的是印度气象部门官方发布的降雨数据。该数据集以0.25°×0.25°的空间分辨率进行了处理和网格化,提供了区级汇总值,而不是来自单个雨量站的原始观测数据。因此,数据集并未明确指出分析中使用的具体气象站。印度气象部门通过整合多个监测站的观测数据为每个地区生成降雨估计值。此外,官方的IMD存储库并没有明确指出1901年至2025年4月期间为数据集贡献天气站的数量。
方法论
本研究通过实施新型洪水预测系统架构(NFPSA)来改进洪水预测的准确性和效率,如图1所示。本研究的主要目标是开发并评估一种基于TSVD-LSTM的混合模型用于长期洪水预测,并将其性能与基线LSTM模型进行比较。为了实现这一目标,该方法论被划分为四个相互关联的模块,每个模块负责数据处理的特定阶段、模型开发和评估。
下载:下载高分辨率图像(452KB)
下载:下载全尺寸图像
图1. 新型洪水预测系统架构(NFPSA)
第一个模块是多模态数据工程,旨在通过收集和整合来自多个来源的历史降雨和洪水数据来构建一个全面的数据集。这些数据包括百年尺度的降雨记录和洪水发生数据,经过预处理、清洗后转换为统一的多变量时间序列格式。这一步确保了数据的一致性,减少了缺失值,并使后续分析更加有效。第二个模块是数学特征精细化,用于处理高维、噪声较大的数据。截断奇异值分解(TSVD)被用来降低维度,消除冗余特征,并减少多重共线性。通过保留主要的奇异值,TSVD保留了数据集中最有信息量的部分,同时过滤掉了低能量的噪声。这提高了信噪比,并生成了一个紧凑的特征空间,从而增强了预测模型的学习效率。
第三个模块是时间序列学习,专注于模拟洪水模式中的时间依赖性。使用精炼后的数据集来训练长短期记忆(LSTM)网络,该网络能够捕捉降雨变化与洪水发生之间的长期序列关系。此外,还使用未经TSVD预处理的原始数据集训练了一个基线LSTM模型,以便直接比较维度减少对模型性能的影响。第四个模块是决策支持和评估,旨在评估预测性能和实际应用性。所提出的TSVD-LSTM模型使用准确性指标和预测一致性来与基线LSTM模型进行评估。模型输出进一步被解释,以便在实时洪水预警系统和灾害准备规划中潜在使用。
为了更深入地分析性能提升,TSVD-LSTM模型通过两种关键机制提高了预测准确性。首先,TSVD减少了数据冗余和噪声,从而最小化了过拟合并稳定了模型训练。其次,减少的特征空间使LSTM网络能够专注于主要的时间模式,而不是无关的变化,从而提高了其学习有意义的长期依赖性的能力。相比之下,基线LSTM模型处理的是高维的原始数据,这可能会引入噪声并降低预测性能。
4.1 多模态数据工程和区域洪水案例研究
本研究在喀拉拉邦进行了一项洪水案例研究,以评估长期洪水模式,识别风险区域,并确定研究区域内洪水的主要天气相关因素。在这项研究中,通过结合喀拉拉邦灾害管理局(KSDMA)、印度气象部门(IMD)和各种公共数据源的数据,构建了一个多变量数据集,覆盖了1901年至2025年的数据。该数据集包含降雨测量值、洪水年份记录以及过去100年中受影响地区和洪水发生的信息。数据工程工作创建了所有必要的分析组件,使团队能够进行特征降维并构建深度学习模型。
区域案例研究中的主要参考事件是2018年的喀拉拉邦洪水,这是该州历史上最严重的水文气象灾害之一,从根本上改变了人们对洪水风险和灾害管理的认知。在西南季风季节,该州在2018年6月1日至8月28日期间记录了2411.3毫米的降水量,比正常降水量多出36.2%,8月份的极端强降雨是由于2018年5月29日季风提前到来造成的。此次事件导致483人死亡,超过一百万人流离失所,55,439公顷的农田被淹没,经济损失初步估计为400亿卢比。由于规模庞大且影响广泛,这一事件成为主要的基准,为研究洪水行为和构建预测系统所需的历史数据库提供了必要的信息。
对2018年洪水范围的独立评估使用了Landsat-8上的操作陆地成像仪(OLI)在洪水前进行评估,以及Sentinel-2上的多光谱仪器(MSI)在洪水后进行评估[21]。图2(a)是2018年2月6日Landsat 8卫星拍摄的图像(波段6-5-3),图2(b)是2018年8月22日欧洲航天局Sentinel-2卫星拍摄的图像(波段11-8-3),此时洪水已经涌入该地区。伪彩色合成图像显示河流发生了广泛的溢出,多个河流系统处于溢流状态,两条国家公路之间的2.2公里土地被淹没,导致科钦国际机场暂时关闭。水库水位和降雨量均有所下降,印度气象部门解除了对所有14个地区的红色警报[21][22]。表1显示了地区级降雨偏差的分析,进一步证明了高度的空间异质性,其中伊杜基(Idukki)、帕拉卡德(Palakkad)、科塔亚姆(Kottayam)和马拉普拉姆(Malappuram)地区的降雨量分别超过了正常水平的84.1%、66.8%、46.0%和45.4%[2]。这些经过验证的信息被添加到历史洪水数据库中,以提高建模前的数据输入可靠性。
下载:下载高分辨率图像(264KB)
下载:下载全尺寸图像
图2. 2018年8月洪水前后的NASA图像:(a) 2018年2月6日Landsat 8卫星图像。(b) 2018年8月22日欧洲航天局Sentinel-2卫星图像[21]。
表1. 正常降雨与实际降雨的偏差(6月1日至8月28日)[2]
地区/分区
实际降雨量(毫米)
正常降雨量(毫米)
偏差百分比
备注
喀拉拉邦(全州)
2411.3
1770.0
+36.2%
伊杜基(Idukki)
3559.4
1933.5
+84.1%
帕拉卡德(Palakkad)
2293.7
1375.1
+66.8%
科塔亚姆(Kottayam)
2339.6
1602.0
+46.0%
马拉普拉姆(Malappuram)
2652.9
1825.2
+45.4%
科拉姆(Kollam)
1585.7
1094.5
+44.9%
帕塔纳姆蒂塔(Pathanamthitta)
1982.2
1424.6
+39.1%
特里凡得琅(Thiruvananthapuram)
967.3
700.7
+38.1%
阿拉普扎(Alappuzha)
1940.1
1418.7
+36.7%
科济科德(Kozhikode)
2941.7
2324.7
+26.5%
瓦亚纳德(Wayanad)
2906.9
2368.5
+22.7%
卡萨尔戈德(Kasargode)
2349.4
2706.4
?13.2%
特里苏尔(Thrissur)
2079.1
1891.5
+10.0%
随后的年份显示了极端降水的长期趋势和复合洪水风险,表明在2018年的催化事件之后,水文气候脆弱性更加明显。2019年季风洪水导致121人死亡,2020年的全州性洪水导致104人死亡,并造成了巨大的经济损失。2021-2022年,多个地区仍观察到局部山洪暴发和降雨引发的山体滑坡。2024年7月的瓦亚纳德山体滑坡事件达到了顶峰,异常强烈的季风雨在Mundakkai和Chooralmala等居民区引发了危险的山体滑坡,导致数百名居民流离失所,成为喀拉拉邦数十年来最严重的自然灾害之一。
除了气象因素外,案例研究还指出了极端降雨和水库管理实践的综合影响[23][2]。2018年的洪水特点是灌溉部门和喀拉拉邦电力委员会(KSEB)同时打开了多个水坝,这导致了下游洪水的急剧增加[图3]。洪水严重的地区可以分为三个区域:在区域1(瓦亚纳德、马拉普拉姆和科济科德),Kuttiyadi水坝的放水缺乏协调,Karapuzha水坝相关的渠道基础设施功能不全,限制了减灾能力,加剧了洪水的影响。此外,土地用途从水稻种植转变为非水稻种植,加上传统水稻种植的衰退,减少了自然蓄水能力,进一步增加了山体滑坡的易发性。有趣的是,2018年8月16日瓦亚纳德地区单独发生的96.67毫米的局部降雨导致了大量径流,引发了向阿拉伯海方向的毁灭性洪水。
下载:下载高分辨率图像(248KB)
下载:下载全尺寸图像
图3. 受洪水影响区域地图[2]
第2和第3区域(包括帕拉卡德、特里苏尔、埃尔纳库拉姆、科塔亚姆、伊杜基、帕塔纳姆蒂塔和阿拉普扎)缺乏跨机构沟通和基础设施支持,加剧了灾害的影响。伊杜基水坝通过Cheruthony溢洪道以及Munnar地区的水坝的巨大放水导致洪水突然发生,几乎没有给居民提前预警[24]。Kuttanad低地的低水位因Thottappally溢洪道功能不佳和Thannermukkam堤坝的结构限制而进一步恶化,造成了巨大的农作物损失和长期的生态压力。
本研究获取的数据是来自印度气象部门(IMD)[25]和其他开放获取的气候档案的时间序列降雨数据,用于建立预测框架,需要1901年至2025年的降雨数据。这些降雨数据代表了月度、季节性和年度的降水变化;因此,它们体现了喀拉拉邦湿润热带气候下的年际和年内的季节变化[26][27][28][29]。这些降雨记录的一致性和区域连贯性通过历史洪水目录得到了证实。将真实的历史洪水数据与1901年至2025年的喀拉拉邦广泛降雨记录相结合,创建了一个多模态数据集,展示了降水波动如何驱动记录的洪水事件。该数据集提供了关于决定洪水风险模式的关键水文气候因素和极端降雨综合效应的信息。该框架为基于TSVD的特征开发和新型洪水预测系统架构(NFPSA)中的混合TSVD-LSTM时间分析奠定了可靠的基础,通过将历史数据转换为结构化的分析数据集。
4.2 借助截断奇异值分解精细化数学特征
在数据整合后,NFPSA框架在应用过程中使用截断奇异值分解(TSVD)来精细化其特征,如图1所示。这一阶段的目的是在训练模型之前减少维度、最小化噪声并消除长期降雨-洪水数据的多重共线性。假设A ∈ ?m x表示多模态数据集的标准输入矩阵,时间观测值用m表示,水文气候和洪水相关特征用n表示。TSVD将矩阵分解如下:
(1)A≈UkΣkVk
T Uk = [u1, u2, …, um] 是A的列空间;Vk = [v1, v2, …, vn] 是右空间;Σk = diag(σ1, σ2, …, σr) 是A的非矩形对角矩阵,包含非负的单个值。每个奇异值σ1, σ2, σ3等表示由于相应模式捕获的方差比例。TSVD分离了降雨极端和洪水重现的主要和奇异成分,同时隔离了低能量噪声。因此,这个混合模型的主要方面被选为Uk和Σk的概念,这在序列学习的背景下是可以理解的。这种转换去除了冗余信息,产生了更具信息量的低维表示。从这个阶段得到的精细化特征集作为后续洪水预测LSTM模型的输入。
图4使用四种互补的可视化方式展示了截断奇异值分解(TSVD)对整合后的降雨洪水数据的影响。原始输入矩阵中的颜色模式(图4(a))显得密集且不规则,表明特征之间的相关性高,以及由长期水文气候变化引起的噪声。TSVD变换后的U矩阵热图(图4(b)具有更有组织、更平衡的分布,证实了去相关性和主导潜在模式的提取过程。奇异值衰减的更快速率(如图4(c)中的对角线形式所示)表明只有少数成分解释了大部分数据方差,支持了维度缩减。最后,图4(d)中的特征加载热图显示了原始降雨和洪水相关变量对每个潜在成分的贡献,具有更高的物理可解释性和更少的冗余。
图5还提供了TSVD变换前后降雨-洪水数据集的对比说明。原始特征空间的投影(图5(a)显示出高冗余性和观测值之间的较差可分性,表明其区分能力有限。相反,图5(b)中的潜在TSVD空间显示了更明显的簇,并且洪水与非洪水案例之间的分离更好,这表明TSVD在投影与洪水发生指标相关的水文气候模式方面表现更好,这些指标是根据各自的目标类别(0表示无洪水,1表示有洪水)绘制的。黄色点表示受到洪水影响的区域(类别1),而蓝色点表示没有洪水(类别0)。图5(c)中的单值分布显示,随着组件数量的增加,信息迅速减少,大部分信息集中在少数几个强模式中,这表明降维是有效的。最后,图5(d)中的特征加载图说明了初始变量对TSVD元素的影响的重新分配,即较低的多重共线性以及均匀贡献的特征。总的来说,这些可视化结果表明TSVD将降雨洪水数据集转换为一个小型、去噪且更具预测性的潜在空间,为基于LSTM的时间建模提供了坚实的基础。
4.3. 时间序列学习混合TSVD-LSTM架构
通过TSVD优化的特征集被用作长短期记忆(LSTM)的输入。这一过程创建了混合TSVD-LSTM模块,作为图1中所示的NFPSA框架的一部分。LSTM是一种改进的循环神经网络(RNN)架构,旨在通过门控记忆来捕捉序列数据中的长期依赖性;这意味着它在水文时间序列建模中特别有效,因为累积和延迟的降雨效应决定了洪水应该发生的时间。LSTM单元由三个主要门组成,即输入门、遗忘门和输出门,它们控制信息随时间的方向。遗忘门选择性地过滤掉历史中的不相关信息,输入门决定要添加的新水文信息的数量,输出门调节内部记忆对下一层的暴露。Lt存储长期时间依赖性,而Ht代表短期变化。这种封闭的结构使网络能够在季节性、年际和多十年时间尺度上测量降雨和洪水之间的复杂相互作用。
经过TSVD精细处理的喀拉拉邦降雨-洪水数据集被组织成固定长度的滑动窗口,每个输入序列包含前驱降雨和水文条件的历史记录。这种形式使LSTM能够学习过去事件如何影响未来的洪水特征。为了提高模型学习非线性、分层时间模式的能力,使用了具有三个LSTM层的堆叠LSTM架构。最终预测由LSTM堆栈顶部的全连接密集层做出。使用Dropout正则化来减少过拟合,并应用Adam优化器以实现高效、稳定的基于梯度的学习。为了分类洪水,最后一个输出层使用sigmoid激活函数来近似洪水发生的可能性,并使用线性激活函数通过回归来预测洪水强度。网络中使用的sigmoid和双曲正切激活函数定义为:
(2) σx = 1 / (1 + e^(-x)
(3) tanh(x) = (e^x - e^(-x)) / (e^x + e^(-x))
定义LSTM单元在时间步t的内部过程的方程(公式(4)–(9)如下。遗忘门的更新由以下公式提供:
(4) Ft = σW * Ft-1 * Xt + B
Ft ∈ (0,1),其中Ft表示保留的前一个单元状态的比例。计算机化的输入门计算如下:
(5) It = σW * I * Ht-1 * Xt + B
I ∈ (0,1)表示新信息的纳入量,L?t ∈ (-1,1)表示候选更新。这导致单元状态的更新为:
(7) Lt = Ft ⊙ Lt-1 + It ⊙ L?t
使网络能够协调过去的记忆和新的降雨证据。输出门和隐藏状态的计算如下:
(8) Ot = σW * O * Ht-1 * Xt
(9) Ht = Ot ⊙ tanh(Lt)
在这种情况下,Xt_t是时间t的输入,WO和BO是矩阵权重和偏置,σ是sigmoid激活函数(值为0和1),tanh将值限制在(-1,1)范围内,⊙表示逐元素乘法。LSTM记忆通过这种门控过程选择性地消除或存储时间信息,使其能够学习降雨和洪水响应的累积效应。
NFPSA框架的预测引擎结合了基于TSVD的特征细化和堆叠LSTM的时间学习。与基线LSTM模型相比,混合TSVD-LSTM框架在极端降雨事件期间表现出更好的系统可靠性、更少的过拟合和更高的预测准确性。基线LSTM在训练时没有进行降维,因此保留了多模态数据集中的所有相关和冗余变量。基线LSTM系统使用与提出的混合TSVD-LSTM模型相同的堆叠LSTM层和滑动窗口尺寸、Adam优化器、学习率、批量大小和训练周期。两种流程之间的唯一区别在于是否存在TSVD特征细化阶段。
模型的性能通过标准分类和回归指标(如准确性、F1分数和均方误差(MSE)进行定量测量,这些指标在图1的基准测试部分中呈现。特别关注了模型在极端洪水年份的行为分析,此时非线性、降雨的累积效应和噪声的放大最为显著。然后比较结果以确定使用基于TSVD的特征降维所获得的收敛稳定性、预测一致性和泛化能力的改进。使用时间保持测试和异常降雨期间的压力测试来评估鲁棒性。混合TSVD-LSTM更加稳定,表现出更少的过拟合,并在极端事件期间显示出更好的预测一致性。NFPSA框架的最后一阶段将预测模型的输出连接到现实世界的早期洪水预警系统中。这种长期水文气候因素和人为控制的结合将为提出的框架提供坚实的科学基础,并作为决策支持工具,以提高喀拉拉邦对未来水文气候极端事件的抵御能力。
5. 结果与讨论
提出的混合TSVD-LSTM模型在1901年至2025年喀拉拉邦的长期降雨数据上进行了测试,目标预测是二元洪水发生。该模型作为一个序列深度学习模型应用,旨在捕捉TSVD降维后的降雨特征空间内的时间依赖性。该框架将提高未来降雨条件的预测准确性和泛化能力。
5.1. 模型训练和收敛行为
TSVD-LSTM模型在30个训练周期内表现出稳定、渐进的学习过程。在第一个周期,模型的训练误差为44.41%,训练损失为0.6988,验证误差为70.83%,验证损失为0.6754,表明在学习的初始阶段难以将降雨和洪水联系起来。随着训练的进行,准确性和损失测量值稳步提高。在第5个周期,训练和验证准确率分别为77.01和79.17,验证损失显著降低至0.4464,表明模型已经学习了时间特征。进一步的训练导致快速收敛,第11个周期的验证准确率达到91.67%,之后达到95.83%。后续周期的验证损失稳定在0.1722左右,几乎等于训练损失。鉴于训练和验证曲线之间的强一致性,可以得出结论,收敛是稳定的,没有发生过拟合,证明所提出的架构是健壮的。
表2中呈现的关键性能指标摘要也证明了TSVD-LSTM框架的有效性。在最后阶段,训练和验证的准确性分别提高到0.8830和0.9583,训练损失和验证损失分别降低到0.2439和0.1732,最低的验证损失为0.1686,学习过程稳定且规范。尽管模型的预测性能良好,但其计算效率很高,具有29,345个可训练参数。
5.2. 将模型与基线LSTM模型进行比较
图6中显示的基线LSTM性能展示了没有TSVD特征细化的标准LSTM模型的基本预测能力。如ROC曲线所示,基线模型的AUC为0.910,表明它是预测洪水年份和非洪水年份的良好工具。根据准确性-周期曲线,训练准确性稳步上升,接近0.88–0.90,而验证准确性上升较慢,通常较低,这表明泛化能力和对数据变化的敏感性较低。与此一致,损失-周期曲线显示训练损失逐渐减少,而验证损失下降速度较慢,收敛到较高水平,表明有轻微的过拟合和较差的时间特征学习。总体而言,尽管基线LSTM在捕捉关键降雨和洪水模式方面有效,但在验证方面的效果相对较差,这解释了在NFPSA框架中使用提出的TSVD-LSTM框架的合理性。
图6. 基线LSTM的性能:(a) ROC曲线。(b) 准确性与周期。(c) 损失与周期。
提出的TSVD-LSTM模型在图7(a)、7(b)和7(c)中表现出良好的预测性能,ROC曲线、准确性和损失曲线表明其具有高预测能力和收敛到正确值的能力。ROC曲线显示AUC为0.965,表明模型准确预测了洪水和非洪水事件,并且表现明显优于基线LSTM模型。准确性与周期的图表显示,训练和验证准确性在初始周期内迅速上升,验证准确性紧随其后甚至略高,表明具有高泛化能力和最小的过拟合。与此一致,损失-周期曲线显示训练和验证损失都呈稳定且逐渐下降的趋势,验证损失稳定在0.18–0.22的小范围内,证明了成功的优化和稳定的学习。总体而言,这些发现证实了基于TSVD的降维技术通过消除冗余相关性并增强NFPSA框架内的显著降雨诱导的洪水模式,提高了LSTM的时间学习能力。
这些发现证实了以TSVD形式进行降维后,结合基于LSTM的时间学习可以显著提高预测准确性、泛化能力和鲁棒性。TSVD-LSTM框架的两个组成部分共同处理长期水文气候数据,从而提高了其性能。百年尺度的降雨数据集包含高维的月度降雨变量、季节性变化和长期时间依赖性,由于其冗余性和噪声引入了额外的学习挑战。传统的LSTM模型由于相关数据与无关数据混合在一起,而失去了从原始特征中学习的能力,这导致网络不稳定并且过拟合的风险增加。原始降雨矩阵经过截断奇异值分解(TSVD)处理,创建了一个降维后的特征空间,保留了重要的水文数据,同时去除了次要细节和噪声。该模型利用降维技术来保留与洪水事件相关的重要降雨模式。所提出的框架有助于利用百年尺度的降雨数据(1901-2025年),以提供关于主要水文气候特征的证据,并推断未来无法观测到的降雨情景。这些结果直接符合本文的目标以及所提出的新型洪水预测系统架构(NFPSA),证明了该模型适用于准确预测喀拉拉邦的洪水,具有高稳定性和物理意义。所提出方法的优越性可以与现有研究进行比较:在[7]中,一个基于1901至2021年喀拉拉邦月度降雨数据训练的多变量CNN-LSTM模型达到了0.8586的准确率,而同一数据上的传统LSTM模型在[30]中的准确率为0.6780。还有其他相关研究报道了基于CNN-LSTM的降雨-径流预测的NSE为0.838(使用SHAP解释性方法),以及在[15]中SVD-LSTM降雨预测模型的MAE和RMSE分别为0.222和0.27。当前研究中观察到的性能提升可以通过使用TSVD而非全SVD来解释,因为TSVD在保留主要水文结构的同时,能够更有效地消除信息量较少的元素,从而不会削弱学习效果。总体而言,这些结果可以补充基于地球观测的深度学习洪水映射研究[32]中的发现,后者在知名地理区域具有很高的准确性,但在处理未知洪水时竞争力较弱,因为数据集缺乏泛化能力。所提出的TSVD-LSTM框架通过使用百年尺度的降雨数据和洪水历史,更有效地提高了洪水预测的时间泛化能力和预测精度,优于仅使用特定事件空间图像的方法。研究结果表明,将长期气候记录与强大的混合建模系统相结合对于评估洪水风险至关重要。本文提出的用于喀拉拉邦洪水预测的TSVD-LSTM模型是一个可行且可扩展的框架,可以应用于其他季风多发、气候敏感的地区,符合减少灾害风险和进行气候适应性规划的目标。
6. 局限性与未来工作
所提出的TSVD-LSTM模型通过考虑长期降雨和历史洪水数据,取得了更好的洪水预测效果,但其预测性能还可以通过额外的水文和环境数据得到进一步提升。未来,该系统需要河流流量数据、水库蓄水和释放数据、土壤湿度数据、土地利用变化数据(从稻田转变为非稻田或住宅用地)以及城市排水系统容量数据来进一步完善模型。如果包含所有这些参数,模型将能够更有效地预测全球不同地区的洪水。这些特征将在未来的工作中得到考虑。
其次,分析是在区域(全州范围)层面上进行的,以支持长期预测和早期预警。这导致没有直接解决河流流域、地区和局部易受灾区域之间的空间异质性问题。因此,该框架更适合用于区域级别的洪水风险评估和早期预警,而不是高分辨率的、特定位置的淹没预测或影响映射。此外,洪水发生的建模是一个二元结果,没有区分不同的严重程度、持续时间或社会经济影响。需要进一步的研究来整合额外的水文气象和人为因素,如河流流量、水库运行数据、土壤湿度指数和土地利用/土地覆盖数据,以更好地模拟洪水的复合和级联驱动因素。通过将框架泛化到具有流域尺度输入的时空环境中,或者将基于TSVD的特征细化与空间深度学习模型相结合,将能够在地区或河流流域层面进行预测。还需要对多类模型或概率性洪水严重程度预测进行额外研究,以实现基于影响的早期预警系统。未来研究中可以考虑的方法论包括研究自适应降维策略、不确定性量化以及可解释的人工智能方法,以增强模型的透明度和操作信任度。需要实时数据流验证并将其与现有的早期预警系统集成,以将提出的框架转化为实际的灾害风险减少和气候适应性规划应用。
7. 结论
本文提出了一种基于百年尺度降雨数据的混合TSVD-LSTM模型,用于喀拉拉邦的长期洪水预测。TSVD的应用通过降维、减少噪声和多重共线性提高了数据质量,而LSTM网络有效地模拟了洪水发生的长期时间依赖性。这两种方法的结合使得预测精度优于基线LSTM模型。所提出的模型主要使用基于降雨的预测因子,但没有考虑可能影响洪水动态的重要水文和人为因素,如河流流量、水库运行、土壤湿度变化和土地利用模式。在未来的工作中,我们将纳入上述水文气象因素,并扩展多类洪水严重程度预测。研究还将探讨如何执行实时验证程序,以创建能够在实际洪水早期预警系统中运行的系统。
作者贡献声明:
P.M. Nasiya:撰写——原始草稿、可视化、验证、方法论、研究
M. Prathilothamai:撰写——审稿与编辑、监督
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号