《Frontiers in Artificial Intelligence》：Multimodal AI fusion for infrastructure resilience: real-time urban analytics framework aligned with SDG-9
多模态AI融合用于基础设施韧性：与SDG-9对齐的实时城市分析框架
引言
背景与动机
全球城市人口已超过56%，城市成为高度互联却又脆弱的生态系统。公用事业、交通系统、水网和结构资产之间的相互依赖性意味着，由极端天气、基础设施老化或无序城市扩张引发的干扰可能迅速蔓延，对数百万人口造成广泛影响。传统的以周期性检查和事后响应为基础的基础设施管理模式，在气候多变、资产老化且数据过载的当今时代已难以为继。
然而，人工智能（AI）作为分析工具，其预测能力为城市治理提供了新的切入点。AI能够融合来自传感器网络、卫星数据和交通遥测等多源数据流，以预测系统压力、预见故障并主动触发干预措施。然而，对许多城市而言，AI的潜力尚未充分发挥，往往被用于孤立的系统，而未嵌入实时的城市韧性策略中。
为展示AI在提升基础设施系统韧性方面的潜力和适用性，本研究选取了三个差异显著的 urban setting 进行实证分析。作为智慧城市的全球标杆，新加坡拥有广泛的物联网（IoT）基础设施和洪水监测系统，但仍面临交通拥堵和季风威胁。印度金奈是一座快速发展的城市，面临季风期洪水和夏季干旱的双重危机，基础设施老化和无序的城市发展加剧了这些挑战。鹿特丹是欧洲适应性城市发展的典范，拥有成熟的防洪基础设施和创新排水系统，其经验可为其他城市构建韧性提供参考。通过在这些多样化的城市环境中测试所提出的框架，本研究展示了其在不同技术、气候和社会经济条件下的适应能力。
基础设施韧性与SDG-9背景
基础设施韧性是指城市系统在维持核心功能的前提下，准备应对、吸收、适应并从干扰中恢复的能力。这一理念是联合国可持续发展目标9（SDG-9）的核心，该目标旨在建设有韧性的基础设施、促进包容性工业化和创新。
尽管韧性已成为全球性的号召，但目前全球在高层SDGs与实现主动响应所需的地面情报之间存在差距。碎片化的数据生态系统、缺乏实时监测以及集成的预测分析框架是主要障碍。如果能够以系统化、合乎伦理且可扩展的方式部署，AI可以弥合这一差距。
研究空白与问题陈述
尽管关于智慧城市和AI增强型城市管理的文献日益增多，但仍存在重要空白：大多数解决方案针对特定城市，难以在不同基础设施类型和社会地理背景下推广；预测模型通常缺乏韧性指标，无法量化恢复潜力或脆弱性梯度；很少有研究尝试将多模态城市数据（如交通、气候、结构健康）融合到整体的AI驱动决策支持系统中。最重要的是，很少有模型直接模拟SDG-9的成果，限制了模型在政策决策和更广泛系统层面产生影响的能力。
研究目标与贡献
本研究提出了一个跨城市的AI驱动基础设施韧性框架，该框架将预测分析与明确符合SDG-9要求的决策智能相结合。主要贡献包括：开发了一种结合时间建模（TM）和空间建模（SM）的多模态AI方法，用于计算城市基础设施系统中的实时韧性评分指数（RSI）；目标有三：利用多模态传感数据和深度学习融合进行稳健的韧性评估，以新加坡、金奈和鹿特丹为基准评估模型的泛化能力，并将洞察与SDG-9对齐，以支持可操作的城市规划干预。
混合预测架构：一个结合长短期记忆网络（LSTM）和图神经网络（GNN）的深度学习引擎，利用LSTM网络扩展时间域分析，同时利用GNN分离基础设施数据中的空间局部依赖性。
韧性评分指数（RSI）：一个定量模型，用于在城市节点层面评估风险、暴露度和恢复潜力。
实时决策仪表板：一个可部署的界面，利用AI输出创建可视化工具，支持城市管理者和应急服务部门的工作。
部署与跨城市评估：在新加坡、金奈和鹿特丹测试框架的可扩展性和上下文适应性。
已识别的空白：文献主要由基于模拟的城市韧性模型和单模态深度学习方法主导，而基于多模态融合的模型探索较少（G1）。很少有工作尝试进行近实时的大规模RSI计算（G2），且跨城市验证大多缺失（G3）。此外，大多数现有工作忽略了现实世界系统中常见的数据稀疏性和传感器噪声（G4），未将输出与SDG-9联系起来以实现全球政策一致性（G5），并且缺乏包含DTU记录和LFM注册的公共基准数据集以重现比较结果（G6）。
文献综述
城市地理与基础设施管理
从优化交通到优化城市基础设施系统、交通系统、水网和建筑环境，AI在城市基础设施中的部署已显著发展。例如，基于AI的数字孪生框架正成为城市基础设施中主动故障检测的重要支柱。这些框架有助于从物理基础设施中无缝获取信息，并结合智能分析和预测分析，实现有效的生命周期诊断和事件预测。将AI融入智慧城市的雨水基础设施，有助于改善风暴潮预测或响应雨水系统。
AI创新同样惠及交通和移动性管理。在城市拥挤道路网络中，使用AI的智能交通管理系统在减少拥堵和优化路线方面已证明其有效性。此外，基于机器学习的交通基础设施预测性维护模型有助于在物理退化之前检测故障。
在建筑能耗领域，进化深度学习模型已被引入用于精确的能源消耗建模。另一方面，基于深度强化学习的交通信号控制能更有效地动态适应交通流条件。AI的整体预测能力在水基础设施中也有应用，特别是在缺水或洪水易发城市，有助于实时压力映射和分销网络中的故障预测。
值得注意的是，混合深度神经网络和模糊层次分析法模型已被应用于进行国家尺度的洪水风险评估，这说明了AI在大尺度空间基础设施建模中的潜力。同时，AI在基础设施可持续性和生命周期优化方面也发挥着关键作用，表明AI不仅是城市发展的监控工具，更是决策引擎。
深度学习与多模态城市感知
理解动态城市系统是一项挑战，这推动研究转向多模态AI框架，整合空间、时间和社会数据。高分辨率遥感数据和众包感知数据已被广泛用于深度学习融合模型，以对城市功能区进行分类。这些模型利用异构数据流——从卫星图像到社交媒体——提供城市运作的细粒度视图。
集成深度神经架构，如CNNs+LSTMs，也为城市功能识别做出了贡献。这类架构能够从传感器密集区域发现隐藏的时空模式，从而更好地预测洪水控制和移动预测应用中的有用信息。
在结构健康监测中，在建筑信息模型（BIM）框架内使用基于LSTM的预测系统，在早期预警和风险缓解方面显示出巨大潜力。随着遥感技术的出现，遥感图像分类，特别是城乡分类，已从简单的基于RGB的方法转变为捕捉光谱、空间和拓扑特性的先进多模态深度网络。
边缘AI架构也已在车载网络中实施，联网客户端在本地处理多模态传感器，以实现近实时响应，而无需集中式计算（V-Cloud）。从OpenStreetMap和遥感数据融合中AI检测废水基础设施，是AI在基础设施诊断中应用能力的又一例证。在城市空气质量预测领域，多模态方法已成功应用，将交通、天气和污染数据整合到深度学习框架中。
AI用于基础设施韧性与SDG-9对齐
过去几年，学术界对人工智能（AI）与工业、创新和基础设施（可持续发展目标9或SDG-9）交叉领域的兴趣日益增长。例如，MACeIP——一个用于智慧城市的多模态情境感知和韧性建模平台——提供了情境丰富的智能，具有城市情境感知和韧性建模的架构。城市发展研究人员也强调了数字地图技术如何促进构建SDG-9所设想的基础设施。
受工业5.0的启发，AI与可持续性转型的双重融合正在改变游戏规则，因为集体智能被证明是社会和环境的一种手段。联邦学习的另一个应用侧重于下一代智能交通系统，以减少排放并创建气候智能型城市。关于AI在极端降雨的干旱地区影响的紧密相关领域的研究，凸显了对韧性预测工程解决方案的需求。
如何利用数字技术（包括AI）来简化关键基础设施系统，以提供对日益增长的环境波动性的韧性，现已成为既定的研究主题，因为气候韧性目标已成为全球政策目标。分析智慧城市和SOG框架的系统综述强调了AI在促进规划中的透明度、适应性和优化方面的作用。此外，地面分割网络依赖于深度多模态模型，从而实现对基础设施的更准确分类，并进一步提供可扩展和跨区域的评估。
智能城市规划范式越来越多地涉及由AI引导的算法设计，以在资源约束与韧性目标之间取得平衡。使用多标准决策模型进行基础设施韧性评估的新兴框架，也为不同部门之间的跨学科系统思维提供了新范式。AI算法减少了关键警报的延迟并提高了准确性，使得用于级联故障分析的相互依赖基础设施系统的预测框架变得相关。
先前研究的局限性
尽管取得了有希望的进展，但AI驱动的基础设施韧性研究仍存在几个显著空白。在对用于整合SDGs的人工智能技术进行的系统综述中，发现只有有限数量的研究以可量化的方式关注跨部门和政策关联的成果。由于数据的异质性和时空错位，深度学习模型在城市计算中的领域泛化仍然具有挑战性。
在土地利用分类方面，已经提出了结合空中（卫星）和地面（街景、传感器）视角的多模态方法，但很少在实际应用中对真实数据进行测试。尽管实施存在滞后，但有关AI在印度城市规划过程/信息处理中应用的文献尚处于起步阶段。虽然这些概念在理论上已得到一定程度的研究，但实际部署缺乏可扩展性，因为它们受到基础设施限制的束缚。
此外，结合多模态遥感和地理先验的城市区域分割是一个新兴的研究领域，但很少应用于实时城市仪表板。它强调了缺乏用于SDG分类的综合框架、动态反馈机制，以及将公共数据耦合到智慧城市系统中的迫切性。
本研究的定位
为解决这些空白，本研究通过在新加坡、金奈和鹿特丹的跨区域实证验证，提出了一个集成的基于传感器的多模态AI框架，用于基础设施韧性。所提出的框架结合LSTM和GNN架构，以捕捉城市机制中的时空依赖性。我们的方法通过实现实时决策支持系统内的预测分析，增加了深度多模态学习作为跨异构城市环境分类和跟踪社会经济和环境压力源手段的前景。
最近的研究也展示了从遥感中获取的空间参数如何用于交通规划，但未能将其空间化为韧性指数或实时适应模型。我们在此类方法的基础上，在分析栈中嵌入了一个韧性评分引擎。另一个进展方向是基于深度学习的多模态融合变化检测，这影响了我们的架构决策。
这为使用AI的智能基础设施系统的预测性维护文献做出了贡献。参考AI和灾害管理中更广泛的应用，我们的框架设计为在 socio-environmental scales 上具有可用性且与政策相关。其他贡献来自灾害韧性和风险管理领域，其中AI已被证明在早期预警、缓解和恢复阶段的活动中有益。
已识别的空白：当前文献倾向于仅涵盖基于模拟的城市韧性建模的机会，但未关注多模态融合方法和单模态深度学习方法。另一个已识别的空白是尝试实时RSI计算和规模的工作数量减少，并且讨论了跨城市验证的结果。大多数作者倾向于忽视现实世界系统中数据稀疏性和传感器噪声的问题；很少有工作涉及将RSI模拟输出与SDG-9联系起来以实现全球政策对齐的相关方面。这些研究也缺乏开放的基准数据集来保证可重复性。为解决这些空白，本工作设计了一个LSTM-GNN混合模型，该模型基于来自不同地理区域的多模态城市数据集进行了验证。
文献综述突出了在AI驱动的基础设施管理、韧性建模和SDG-9对齐领域中的六个核心研究空白。本研究引入了一个综合框架，该框架整合了多模态AI、韧性、多城市验证和实时决策支持，以系统地克服这些局限性。
新颖性声明
本工作的原创性在于首次报道了使用混合LSTM-GNN模型结合时间和空间信息进行跨城市城市韧性分析。与先前专注于单模态或仅模拟模态的工作相比，我们的设置消耗真实世界的多模态传感器数据。它计算一个实时、动态、可解释的RSI。三城市验证——涵盖从数据丰富到数据稀疏以及结构化拓扑环境——展示了前所未有的泛化性和鲁棒性水平。通过将知识与SDG-9结合和联系，该工作架起了AI创新与可持续基础设施规划之间的桥梁，为全球智慧城市提供了一个可转移、可部署的解决方案。
材料与方法
拟议框架的一般结构
在此，我们提出一个AI赋能的集成框架，通过系统压力预测、脆弱性量化和实时可视化的决策支持方法来改善城市基础设施韧性。我们提出的架构由四个相互连接的层组成，即：数据采集、预测建模、韧性分析和决策支持。该框架的核心是一个混合学习引擎，结合了长短期记忆网络（LSTM）和图神经网络（GNNs）。联合使用它们使系统能够从基础设施时间序列数据中学习顺序时间模式，同时捕捉相互关联资产（如道路、排水管线或电网）之间的拓扑依赖性。
第一层负责数据摄入，它处理多模态城市数据（来自传感器网络、环境监测系统、移动日志、结构健康指标等）。异构输入被标准化为正确的格式和范围，并转换为图形式。预测层内的LSTM捕捉时间波动——如水位或车辆拥堵随时间的变化——而GNN模型学习系统组件之间的结构关系。融合的嵌入由一个密集的预测层处理，从而能够计算与每个基础设施节点相关的故障可能性分数。
这些预测的异常分数随后被映射到一个动态的、可解释的韧性评分指数（RSI）上，该指数考虑了节点关键性和恢复潜力。结果最终显示在一个实时仪表板中，提供热图、时间线视图和决策线索，帮助市政规划者确定干预措施的优先级。更重要的是，该系统通过将AI纳入关键基础设施网络的监测、评估和适应性治理，与SDG-9的目标保持一致，从而促进可持续工业发展和技术创新。
城市案例研究概况
本工作重点将开发的框架应用于三个具有不同特征和人口统计的城市，以研究其泛化性和上下文适用性——新加坡、金奈和鹿特丹。这些城市被选来说明一系列气候背景、发展阶段和基础设施数字化程度。新加坡传感器密度高，智慧城市规划强大，开放数据平台完善，且经常发生季风性暴雨洪水事件，是全球典范。该国的城市规划机构是实时交通和排水监测系统的先驱，为AI赋能的韧性框架提供了理想的基准。
金奈是印度南部一个快速发展的都市，因其对气候变化的敏感性和部分数字化的基础设施而被选中。这些因素在反复发生的季风洪水、水资源短缺和不均衡发展的城市地区面前，为基础设施韧性创造了前所未有的复杂挑战。它们被纳入印度智慧城市使命，导致了从洪水传感器和城市遥测系统到移动性监测的数据收集计划。鹿特丹是第三个城市，作为一个适应性城市模型逐渐成熟。作为一个位于海平面以下的沿海城市，它拥有开创性的防洪机制和广泛的传感器化雨水基础设施。鹿特丹增加了一个在政策和工程层面运营韧性数十年的城市的经验教训。总的来说，这些城市为拟议AI框架的多区域和多上下文评估提供了坚实的基础。
数据源与数据预处理
为实施此预测模型，使用了来自开放城市平台的若干城市数据集，涵盖了许多核心指标。此类数据可能包括实时交通遥测（例如，车辆速度、流量和拥堵报告）、环境传感器反馈（例如，降雨强度、湿度和温度）、结构完整性指标（例如，来自桥梁和隧道的振动水平）和排水系统数据（例如，水流速率、泵激活日志）。每个城市的数据按基础设施节点聚合，时间分辨率标准化为15分钟间隔。
我们遵循了一个多阶段预处理流程。首先采用时间归一化使数据流性质统一。根据信号类型，使用K近邻（KNN）和前向填充技术来插补缺失值。对于空间建模，城市基础设施被概念化为图，其中节点代表关键资产（例如，交叉口、变电站或泵站），边代表资产之间的物理或逻辑连接。每条边的权重根据逆容量（或应力传播潜力）获得。其他特征工程步骤包括计算滚动平均值、应力梯度和指示异常存在的二进制标志。最终的数据集被结构化，以便可以同时馈送到模型的LSTM和GNN组件中。
数据集描述：测试针对来自三个城市的三重多模态数据集进行。对于新加坡，利用交通和降雨传感器反馈进行预测，而对于金奈，使用市民投诉、降雨记录和雨水管网地图。对于鹿特丹，对OpenStreetMap拓扑进行了情景建模。每个数据集包含节点数（新加坡：450，金奈：310，鹿特丹：500）、边连接矩阵以及2019年至2024年的每日测量值。缺失数据率（金奈：8.7%）使用前向填充和中位数方法进行插补。我们将数据集按70:15:15的比例划分为训练集、验证集和测试集，以确保可重复性。
模型架构
预测引擎的核心是一个结合了长短期记忆网络和图神经网络最佳元素的混合架构。与独立节点相关的单变量和多变量时间序列数据，如每小时的水位变化或每个节点的交通波动，被递归地用作LSTM模块。这些模块性能捕捉时间趋势，模拟纵向短期波动和长期动态。同时使用GNN层来指定城市基础设施网络中节点的空间和结构依赖性。我们采用了图卷积网络（GCN），并增加了三个具有ReLU激活函数的隐藏层，以获得编码拓扑应力模式以及区域交互的节点嵌入。
我们将LSTM和GNN模块的输出拼接起来，并通过一个融合层，然后是一个全连接的密集网络。这种方案允许模型并行地从时间演化和网络连接性中学习，从而产生每个节点的预测故障概率。我们使用Adam（学习率为0.001）和几个Dropout层来训练该架构，以避免过拟合。正是这种联合解决方案集使框架能够以高精度预测局部和系统性的基础设施应力。
韧性评分指数（RSI）的制定
创建了一个韧性评分指数（RSI），将预测的异常分数转化为可操作的洞察。它衡量每个基础设施节点的韧性，并返回一个在0到1之间的指数，该指数转化为整个系统或多或少的稳定性。RSI通过计算预测故障概率的倒数、节点特定关键性权重和估计恢复潜力的乘积来实现。
RSI在数学上定义如下：
RSIi= (1 - ?i) · αi· γi
其中，?i是节点 i 的预测故障概率，αi是其关键性权重（基于节点失效的潜在影响），γi是估计的恢复潜力（基于历史恢复时间和资源可用性）。RSI值接近1表示高韧性，而值接近0表示脆弱性高。该指数通过考虑节点的相对重要性及其从压力中反弹的能力，提供了系统健康的整体视图。
系统集成与仪表板设计
框架的最后部分是通过交互式仪表板进行实时部署。该仪表板使用Python的Streamlit和Plotly库开发，通过热图和交互式时间序列图可视化全市范围的RSI分布。风险演化功能使用户能够查询单个基础设施节点，观察随时间推移所经历的风险演变，将随时间变化的异常分数与基础设施节点的崩溃阈值进行比较，并根据韧性分类接收干预建议。仪表板还包括一个警报生成模块，用于识别处于严重中断风险中的区域。
后端层允许通过API进行实时数据摄取和计划的批量更新，保持数据在实时（10分钟）新鲜度窗口内。根据收集的数据创建了桌面和平板界面，并针对模拟数据和现有城市反馈进行了测试。从SDGs治理的角度来看，该仪表板作为市政工程师、规划者和救灾团队的实时决策支持工具，用于抢先管理基础设施，符合SDG-9框架的要求。
评估指标与基准测试
使用回归和分类指标的混合来评估框架的性能。使用均方根误差（RMSE）评估连续结果变量的预测准确性；使用F1分数和精确度评估二元异常检测任务。我们还对推理延迟和模型参数数量进行了基准测试，以评估模型在城市云系统中实时采用的可行性。
在所有三个城市中使用基线模型（ARIMA、随机森林、仅LSTM和仅GNN）进行了比较实验。提出的LSTM-GNN混合模型的F1分数优于其他模型，在新加坡、金奈和鹿特丹三个城市分别为0.83、0.80和0.85。虽然推理时间较高，为132毫秒，但这在城市尺度的实时操作中仍被认为是可接受的。
伦理考量与SDGs对齐
该系统的开发充分考虑了伦理和治理原则。输入数据经过匿名化和聚合处理，以避免个体层面的监控。区域模型可以进行微调，以使预测更公平，因为它们会根据当地基础设施条件和数据可用性来校准预测。此外，通过将AI嵌入基础设施规划和运营工作流程，该框架嵌入了支持联合国可持续发展目标9的创新治理和系统可持续性的融合结构。
可重复性与实施细节
所有模型均在配备64GB RAM的NVIDIA RTX 6000 GPU上训练。超参数包括批大小为32，学习率为0.001，使用Adam优化器，并基于15个周期内无改善进行早停。模型训练最多进行100个周期，并通过验证损失曲线观察收敛情况。这样做是为了确保未来的科学家能够完全重复该实验。
结果与讨论
不同城市背景下的性能评估
混合LSTM-GNN模型随后在所有三个选定的城市中与其多模态数据集一起进行了评估。如上所示，该模型的性能在所有测试案例中均优于基线模型，在鹿特丹的F1分数峰值为0.85，新加坡为0.83，金奈为0.80。这些分数时间证明了模型在城市基础设施发生故障之前捕捉其状态的能力更强。金奈相对较低的分数归因于间歇性数据频率和特定传感器模态的缺失，凸显了在边缘进行强健预处理和自适应学习的关键性。
在推理延迟方面，LSTM-GNN模型达到了平均132毫秒/节点的运行时间，完全符合城市层面半实时部署的可接受限制。这意味着即使在都市指挥中心实施，系统也具有可扩展性和响应性。我们的设计是ARIMA和GNN的混合体，与传统的ARIMA或独立的GNN模型相比，实现了12%–18%更好的检测精度，特别是对于暴雨洪水和高峰交通中断等压力事件。
五种AI模型（ARIMA、随机森林、仅LSTM、仅GNN和LSTM + GNN）在新加坡、金奈和鹿特丹的F1分数结果。在所有三种城市环境中，LSTM + GNN混合模型 consistently 优于其基线，证明了该混合模型在监督数据密集和数据稀疏场景下的鲁棒性和泛化能力。
韧性评分指数（RSI）的时间动态
对韧性评分指数（RSI）的时间分析表明，三个城市的基础设施韧性存在显著差异。在这方面，新加坡的RSI值通常高于0.7的阈值，表明其拥有足够缓冲、传感器丰富的基础设施系统，具有实时控制层和冗余（特别是在商业区和交通繁忙的走廊）。这种稳定性表明了资源分配的优化和城市规划的容错策略。
相比之下，金奈的RSI显示出更大的可变性，在季风季节
