《Mechanical Systems and Signal Processing》：Model updating of structures by combining reduced order modelling and deep reinforcement learning
编辑推荐：
结构健康监测中提出基于降阶模型与深度强化学习的自动化模型更新框架DRUM-Av2.0，通过ROM构建高效环境嵌入DRL智能体自主优化参数，在两个虚构案例和真实桥梁验证中实现计算效率提升两个数量级且保持高精度，为复杂结构持续数字孪生校准提供 scalable 解决方案。
吉安卢卡·布鲁诺（Gianluca Bruno）|法比奥·帕里西（Fabio Parisi）|塞尔吉奥·鲁吉耶里（Sergio Ruggieri）|埃莱尼·查齐（Eleni Chatzi）|朱塞皮娜·乌瓦（Giuseppina Uva）
意大利巴里理工大学（Polytechnic University of Bari）DICATECH系
摘要
本文提出了一种自动化框架，用于结构模型更新，该框架将降阶建模（ROM）与深度强化学习（DRL）相结合。连续结构健康监测（SHM）数据被用来校准作为真实结构数字孪生的数值模型。当使用高保真有限元模型来处理高度不确定的系统时，这项任务在计算上变得非常复杂。为了解决这个问题，从全阶模型生成的一个物理一致的数据集中构建了一个降阶模型，并将其嵌入到DRL环境中。一个智能代理自主探索参数空间，并通过最小化模拟量和测量量之间的差异来识别最优值。所提出的方法称为DRUM-Av2.0，通过两个复杂度逐渐增加的虚构案例研究以及一座真实的预应力混凝土桥梁进行了验证。结果表明，与基于全阶模型的更新方法相比，计算时间减少了两个数量级，同时保持了参数识别的高精度。该框架提供了一个可扩展且自动化的解决方案，适用于实际的SHM应用和连续数字孪生校准。
引言
近年来，结构健康监测（SHM）在结构工程领域变得越来越重要，因为它能够持续评估现有结构和基础设施在环境作用下的状况。为了改进评估协议并研究被监测结构的性能，通常会使用数值模型，这些模型可以通过校准从SHM活动中获得的实验数据来开发[1]。这种做法被称为模型更新（MU），但对分析师来说并不总是简单的任务，因为数值模型的校准取决于多个方面，例如实验数据的质量和数量、建模方法以及需要定义的不确定参数的数量[2]、[3]。科学文献越来越多地关注于定义合理数值模型的有效方法，这些模型通常被称为数字孪生（Digital Twin）[4]、[5]、[6]、[7]，特别是在不允许对不确定的材料和结构参数进行破坏性测试的情况下（例如，为了确保结构的连续运行性、限制调查的影响、降低成本[8]、[9]、[10]）。一个可行的选择是从基于振动的监测信息间接推断工程模型的不确定参数，即从频率、模态形状和实际阻尼系数等动态属性中推断。操作模态分析（OMA）[11]、[12]、[13]可以定义结构的主要动态特征，这些特征可以作为更新结构属性的目标，如结构元素的几何特性、结构材料的物理和机械特性以及接头和边界条件的特性。
在进行基于实验数据的模型更新（MU）时，必须考虑两个基本方面：(a) 用于校准不确定参数的方法；(b) 需要更新的数值模型类型。关于第一个方面，可以识别出两种主要范式：确定性和概率性方法[3]。选择哪种方法取决于所需的精度水平、数据的不确定性程度以及分析的目标。在确定性方法中，校准问题被表述为一个优化任务，通过最小化目标函数（通常定义为数值预测与实验观测之间的差异）来寻找一组次优参数值[14]。分析师迭代调整不确定参数，直到收敛，通常使用基于灵敏度的策略[15]、[16]、[17]。这些方法在概念上直接且在计算上高效。相反，概率性方法将不确定参数视为具有概率分布的随机变量。然后，MU过程包括根据实验证据更新先验分布，通常通过贝叶斯推断来实现[18]、[19]、[20]。该框架提供了一种严格的不确定性量化方法，提供了参数估计及其相关的置信区间。
关于第二个方面，可以识别出两种主要的建模极端：高保真模型和低保真模型。高保真模型，通常称为全阶模型（FOMs），明确表示所有相关的物理和几何参数。它们以高精度捕捉全局和局部结构行为，但在更新过程的优化阶段会带来显著的计算需求[15]、[21]。相比之下，低保真模型或降阶模型（ROMs）通过使用较粗的离散化、简化的物理模型或减少的自由度来提供计算效率高的系统近似[22]、[23]。ROMs可以采用解析形式，其中结构通过简化的质量和刚度矩阵来表示[24]、[25]，或者采用替代形式，其中系统的输入-输出行为通过数学或数据驱动的映射来近似[26]、[27]。还提出了混合或多保真策略，结合了这两种模型的优点——例如，在关键区域使用ROMs进行全局校准，使用FOMs进行局部细化[21]、[27]。此外，最近将机器学习技术（如人工神经网络和高斯过程[28]）集成进来，提高了替代模型的预测能力。当在基于FOM模拟的数据集上进行训练时，这些模型可以有效地估计结构状态或检测局部损伤[21]、[29]、[30]、[31]。这些方法的鲁棒性在很大程度上取决于训练数据的多样性和物理相关性[32]、[33]。
更新策略的选择和模型保真度的水平应基于精度与计算复杂性之间的权衡。在建模方面，全阶模型（FOMs）能够详细表示局部非线性和损伤机制，而降阶模型（ROMs）能够高效捕捉全局结构行为，尽管空间和物理分辨率较低[22]。替代模型可以在精度和效率之间提供有利的平衡，前提是它们的训练依赖于足够大、多样且物理一致的数据集。然而，当应用于训练数据之外表示的条件时，它们的预测鲁棒性往往会下降。结合这两种模型类型的混合方法可以根据分析的具体目标进一步缓解这种权衡。从算法角度来看，确定性和概率性更新方案都有其内在的优势和局限性。确定性方法在计算上高效，但可能对目标函数的选择和初始参数估计敏感，这往往会导致收敛到局部最小值——特别是在复杂或高度不确定的系统中[3]。另一方面，概率性方法提供了对不确定性的严格量化，但需要大量的计算工作，因为贝叶斯推断通常需要评估高维积分和广泛的数值模拟才能达到收敛[34]、[35]。这种计算负担限制了它们在实时或接近实时更新场景中的适用性。
当不确定参数的数量增加时，找到既准确又计算高效的更新策略变得越来越具有挑战性，因为没有单一的方法可以预先保证这两种要求之间的最佳平衡。在这种情况下，模型更新可能只能以过高的计算成本实现高精度，或者相反，虽然实现了效率，但牺牲了可靠性和鲁棒性。为了解决这种权衡，本研究提出了一种策略，通过将降阶建模（ROM）与深度强化学习（DRL）相结合，同时减少了计算负担并保持了高精度。在作者之前的框架DRUM-A（用于模型更新的深度强化学习）[36]的基础上，本研究提出了一个增强且更高效的版本，称为DRUM-Av2.0。在这个修订版本中，训练了一个DRL代理与数值模型交互，并根据实验量和模拟量之间的差异自动校准不确定参数。关键创新在于将代理嵌入到一个基于ROM的环境中，该环境是从相应的全阶模型（FOM）生成的一个物理一致的数据集中构建的。这种集成显著提高了效率，减少了训练和验证时间，同时实现了与使用全阶模型相当的性能水平。
本文的结构如下：第2节概述了DRL和ROM的基本特性及其在所提出方法中的应用；第3节描述了所提出程序的六个步骤，详细介绍了代理及其环境的定义；第4节报告了DRUM-Av2.0在两个复杂度逐渐增加的虚构结构上的应用，展示了所提出方法的潜力；第5节比较了DRUM-A和DRUM-Av2.0获得的结果；第6节提出了结论和可能的未来发展方向。
章节摘录
材料与方法
所提出的框架基于两种互补的范式：深度强化学习（DRL）和降阶建模（ROM）。本节概述了每种方法的基本原理，并描述了它们如何集成到开发的模型更新策略中。
DRUM-Av2.0
本节介绍了所提出的DRUM-Av2.0框架，其整体架构在图2中进行了示意性说明。
案例研究
为了评估所提出方法的性能，DRUM-Av2.0被应用于两个复杂度逐渐增加的虚构结构模型。第一个案例研究是一个单层、单跨度的钢筋混凝土（RC）框架，具有四个不确定参数。第二个案例研究涉及一个具有垂直不规则性的两层RC框架，包含十二个需要更新的不确定参数。
结论与未来发展方向
本文提出了一种用于复杂结构系统模型更新（MU）的新框架，这些系统具有大量不确定参数，该方法通过将降阶模型（ROMs）与深度强化学习（DRL）相结合来实现。所提出的方法称为DRUM-Av2.0，它训练了一个智能代理，该代理与降阶数值环境动态交互，以自主识别不确定参数的最优值。该方法遵循一个顺序工作流程。
CRediT作者贡献声明
吉安卢卡·布鲁诺（Gianluca Bruno）：撰写——原始草稿，可视化，验证，软件，方法论，研究，形式分析，数据管理，概念化。法比奥·帕里西（Fabio Parisi）：撰写——原始草稿，可视化，监督，软件，研究，形式分析，数据管理，概念化。塞尔吉奥·鲁吉耶里（Sergio Ruggieri）：撰写——审阅与编辑，撰写——原始草稿，监督，方法论，研究，形式分析，概念化。埃莱尼·查齐（Eleni Chatzi）：撰写——审阅与编辑，
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
