地震是最具破坏性的自然灾害之一，对全球的公共安全、基础设施完整性和社会福祉构成持续威胁[1,2]。在20世纪，地震造成的直接经济损失超过3230亿美元，大约有187万人死亡，1990年至2010年间的每次重大地震平均造成2052人死亡[3]。灾后损伤评估的延迟或不准确可能导致应急资源的错误分配、次生灾害的加剧，甚至灾难性后果[4]。因此，及时和可靠地估计损伤程度对于协调有效的灾害响应、减少人员伤亡、减轻经济损失以及促进基本功能的快速恢复至关重要[[5], [6], [7], [8]]。
传统的灾后建筑损伤评估主要依赖于经过培训的专业人员进行的现场结构检查，他们根据可观察到的宏观损伤特征（如裂缝、倾斜和剥落）来评估安全状况[9]。例如，Colonna等人[10]展示了在特拉莫地震后24小时内可以完成快速的安全分类。然而，Hafner等人[11]报告的萨格勒布地震的经验证据显示，错误分类率约为20%，这突显了手动检查的固有主观性及其对专家判断和环境条件的依赖性。此外，此类调查耗时且劳动密集，成为及时应急响应和恢复操作的重大瓶颈[12,13]。为了解决这些限制，计算方法已被广泛探索作为传统现场评估的可扩展替代方案，提高了效率，确保了一致性，并减少了人力负担。当前的计算框架可以大致分为统计模型和数值模拟。统计方法通常利用脆弱性曲线来描述地震强度指标（例如峰值地面加速度（PGA）、峰值地面速度（PGV）与损伤状态之间的概率关系[14,15]。Gautam等人[16]基于2015年尼泊尔戈尔卡地震的详细灾后损伤评估，为钢筋混凝土（RC）建筑提出了地震脆弱性函数。Gaudio等人[17]通过结合材料属性、建模参数、损伤阈值和地震需求不确定性使用蒙特卡洛模拟进一步开发了脆弱性曲线。然而，这些模型严重依赖于全面的历史损伤数据集，限制了它们在地震记录稀少或结构系统新兴地区的适用性[18,19]。数值模拟技术，特别是非线性时程分析（NLTHA），提供了关于单个结构在地震载荷下的动态响应的详细见解。例如，Castellazzi等人[20]验证了NLTHA对历史教堂的有效性，而Preciado[21]增强了其对砖石建筑的应用性。尽管这些方法具有高准确性，但计算量庞大；即使使用现代并行计算（例如GPU加速），分析单栋建筑也需要4-6小时[22]，使得它们不适用于区域规模的近实时评估[23]。因此，在预测准确性和计算可行性之间取得平衡仍然是灾后快速损伤评估中的一个核心且未解决的挑战。
近年来，数据驱动技术的出现，特别是机器学习和深度学习，为克服灾后损伤评估中的长期挑战提供了有希望的替代方案[[24], [25], [26], [27]]。例如，Bhatta和Dang[28]利用随机森林、支持向量机、决策树和人工神经网络等算法，通过整合地震和结构特征来预测钢筋混凝土结构的损伤。同样，Sreenath等人[29]提出了一种混合地面运动模型，通过集成浅层神经网络、深度神经网络（DNN）、门控循环单元（GRU）、支持向量回归和随机森林（RF），利用欧洲强运动（ESM）数据库来增强地震强度预测。然而，关键的分析揭示了当前许多方法的两个持续局限性。首先，尽管这些方法提高了计算效率和可扩展性[[30], [31], [32], [33]]，但大多数仍然严重依赖峰值地面运动参数（例如PGA、PGV），这些参数不足以描述地震地面运动的非平稳和频谱复杂特性。实证研究表明，S波的能量浓度可以是P波的两到三个数量级[34,35]，并且超过70%的主震能量通常集中在1-5 Hz的频率范围内[36,37]。
其次，更先进的方法往往在分析之前就进行了信息简化，这也是最近综述中强调的一个挑战[38]。例如，Mangalathu等人[39]中的著名机器学习框架将整个地震波形简化为单一的标量IM。同样，基于响应谱的方法，如Kaplan & Kaplan[40]所展示的，使用峰值响应的时间不变摘要。这种初始的简化步骤使得任何后续模型都无法分析控制复杂损伤状态的非常历史特征。为了解决这个问题，已经应用卷积神经网络（CNN）从地震信号中提取高维表示[[41], [42], [43]]。然而，正如Lu等人[44]所观察到的，传统的CNN仍然难以模拟多尺度频谱成分和瞬态冲击脉冲，特别是在长周期地面运动中，经常导致错误分类[45]。这些发现强调了当前模型在捕捉地震波的非线性演化和累积影响方面的局限性，揭示了迫切需要能够学习更丰富时频模式的架构。
为了解决现有地震损伤评估方法中的固有局限性，本研究提出了一种新颖的多模态深度学习框架，该框架战略性地将小波分析与GoogLeNet-FC卷积神经网络相结合。该框架旨在作为一种计算效率高的高保真度、基于物理的模拟的替代方案，其主要目标是模拟非线性时程分析（NLTHA）的严格结果，同时大幅降低区域规模应用的相关计算成本。基于复杂性解释的原则，该方法将原始加速度信号转换为高分辨率的多尺度时频图（TFDs），保留了地震事件的完整非平稳动态历史。这些信息丰富的TFDs随后作为GoogLeNet-FC模型的主要输入，利用Inception模块提取分层、多尺度特征。通过将这种细粒度的地震输入与建筑结构特征相结合，该框架学习了完整地震历史与由此产生的NLTHA衍生损伤状态之间的复杂关系。这一新颖框架旨在弥合传统基于强度的方法和现代数据驱动方法之间的方法论差距，最终实现高效、可解释且可扩展的区域级灾后损伤评估。
