变分贝叶斯数据同化方法结合时变多物理信息神经网络，用于求解降维概率密度演化方程

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Variational Bayesian Data Assimilation with Time-Varying Multi-Physics-Informed Neural Network for Solving Dimension-Reduced Probability Density Evolution Equation

本文提出一种变分贝叶斯数据同化方案，将贝叶斯神经网络整合到时间变多物理信息神经网络框架中，解决高维随机系统概率密度演化方程（DR-PDEE）的不确定性量化问题，通过自适应权重策略和预训练模型减少手动调参需求，数值验证展示了方法的有效性。

　　

郝腾腾|严王吉|陈建兵|袁嘉文

中国澳门大学智慧城市物联网国家重点实验室与土木与环境工程系

摘要

降维概率密度演化方程（DR-PDEE）为分析复杂高维随机动态系统中概率密度函数（PDFs）的演化提供了强大的方法。有效解决DR-PDEE问题依赖于精确识别驱动PDF演化的难以捉摸的时空内在漂移函数。最近的进展引入了一种基于多物理信息的神经网络（MPINN），将其作为逆问题来求解DR-PDEE，特别是在数据噪声较大的情况下，通过充分利用现有样本来实现。然而，两个主要挑战阻碍了其实际应用：预测中的不确定性量化（UQ）以及手动调整损失权重的复杂性。为了解决这些问题，本研究提出了一种新颖的变分贝叶斯数据同化方案，将贝叶斯神经网络（BNNs）集成到时变MPINN架构中，以实现内在漂移函数和响应PDF的UQ。采用交替变分推断策略迭代估计两种不同尺度参数的后验分布，包括BNN超参数和预测误差方差。通过利用预训练的确定性MPINN模型作为先验知识，可以解析地得出这些方差的初始估计值，从而避免了耗时的手动损失权重调整。通过多个数值示例验证了所提出方法的稳健性和准确性。与传统时变MPINN相比，新方案不仅提供了更好的UQ，还推断出了与数据噪声水平相关的预测误差方差，为基于DR-PDEE的随机响应分析提供了有价值的见解。

引言

不确定性是工程结构固有的特征，源于材料属性、边界条件和环境载荷的变化[1,2]。这些不确定性显著影响结构的动态行为，导致随机响应。因此，准确表征结构响应概率密度函数（PDFs）对于结构安全评估[3]、可靠性评估[4]和设计优化[5]至关重要。

近几十年来，人们投入了大量努力开发随机响应分析的先进方法[6,7]。其中，蒙特卡洛模拟（MCS）由于其概念简单性和广泛适用性而成为常用的数值技术[8]。然而，MCS经常受到计算成本高昂和随机收敛问题的限制。此外，基于矩的技术提供了一种计算统计矩的有效方法来构建响应PDFs，但通常仅限于N线性系统[9]。对于非线性系统，这些方法要么受到闭合问题的阻碍[10]，要么难以应用于具有多模PDF的问题[11]。在这方面，福克-普朗克-科尔莫戈洛夫（FPK）方程为确定瞬态响应PDFs提供了理论框架[12,13]，但求解高维系统的FPK方程在分析和数值上仍然具有挑战性，大多数近似解仅限于低维情况[14,15]。路径积分方法也是估计响应PDFs的另一种途径[16,17]，但其适用性同样主要限于低维系统。

在这种背景下，引入了几种先进的方法来应对高维随机系统带来的挑战。其中，维纳路径积分技术[18]特别受到关注，它通过具有自由边界的变分公式提供了一种计算效率高的分析高维系统的方法[19]。另一方面，李和陈[20,21]基于概率保持原理和随机事件描述开发了一种新的概率密度演化方法（PDEM），实现了高维随机系统的完全解耦概率密度演化。对于白噪声激励的系统，Er[22]提出了状态空间分割算法来降低FPK方程的维度，但该算法尚未得到很好的闭合。在基于PDEM的状态解耦方向上，陈和柳[23,24]进一步提出了降维概率密度演化方程（DR-PDEE），通过构建内在漂移函数将其表示为低维偏微分方程，揭示了响应PDFs的集合演化。最近的研究证明了DR-PDEE在涉及结构参数和外部激励随机性的高维非线性系统的随机响应分析和可靠性评估中的有效性[25,26]。将内在漂移函数重构为原始高维系统相应函数的条件均值是一个关键步骤。通过物理指导的推理来确定它们的形状非常重要[27]。然而，一个关键挑战是DR-PDEE中时变内在漂移函数的解析表达式通常是未知的，作为一种实用方法，必须基于一些代表性确定性样本的数据使用纯数据驱动的方法（如基于copulas的方法[24]和局部加权散点图平滑技术（LOWESS）[25]来估计。在实际应用中，精度和效率之间的权衡通常限制了可用样本的大小，使得在这些样本稀疏的PDF尾部区域准确估计这些函数变得具有挑战性[27]。

物理信息神经网络（PINNs）的出现为解决具有未知时变内在漂移函数的DR-PDEE提供了有吸引力的替代方案，因为它们能够有效地处理由非线性偏微分方程控制的正向和逆问题[28]。PINNs背后的基本思想是直接将控制微分方程嵌入学习过程中，使用自动微分，从而大大减少了对大量标记数据的依赖[29]。在随机响应分析领域，PINNs显示出巨大的潜力，研究表明它们在求解FPK方程[[30], [31], [32], [33]]、广义密度演化方程[[34], [35], [36], [37]]和DR-PDEE [[38,39]]方面非常有效。尽管有这些有希望的发展，但这些方法的主要局限性通常源于确定性框架，即缺乏内置的不确定性量化（UQ），这可能阻碍它们在数据噪声较大的场景中的应用。此外，UQ对于评估模型预测的可靠性和捕捉数据噪声、模型不完整性和近似误差引起的不确定性至关重要[40]。为了克服这一挑战，最近的研究试图将UQ集成到PINN框架中，贝叶斯PINNs（BPINNs）作为一种有前景的扩展应运而生[41,42]。

虽然BPINNs在实现UQ方面取得了显著进展，但在手动指定网络参数的先验分布和反映数据噪声水平的预测误差方差方面仍存在关键限制。这种手动调整在没有可靠先验知识的情况下会隐含假设，可能削弱UQ的可靠性[43]。为了解决这个问题，本研究提出了一种新颖的变分贝叶斯数据同化方案，将贝叶斯神经网络（BNNs）集成到时变多物理信息神经网络（MPINN）框架中，以实现内在漂移函数和响应PDF预测的UQ。在这项工作中，预测误差的方差被建模为具有预定概率分布的随机变量，并使用交替变分推断方案与BNN超参数一起迭代估计。此外，利用预训练的确定性时变MPINN模型作为先验知识，从中解析地得出预测误差方差的初始估计值。最终获得了内在漂移函数和响应PDF的后验样本，为基于DR-PDEE的随机响应分析提供了原理性的UQ方法。本研究的主要贡献总结如下：

•

通过将BNNs集成到时变MPINN框架中开发了一种新颖的变分贝叶斯数据同化方案，用于求解DR-PDEE，实现了内在漂移函数和响应PDF预测的UQ。

•

所提出的框架通过联合推断预测误差方差和BNN超参数，提出了一种自适应权重分配策略。这不仅消除了手动调整权重的需要，还为确定DR-PDEE中的最佳样本大小提供了潜在的见解。

•

通过利用预训练的确定性时变MPINN作为先验知识，可以解析地得出预测误差方差的初始估计值。然后采用交替变分推断方案迭代估计BNN超参数和这些方差的后验分布。

本文的其余部分组织如下。第2节概述了DR-PDEE和时变MPINN方案，强调了相关挑战。第3节介绍了用于预测UQ的提出的变分贝叶斯数据同化框架。第4节通过几个数值示例说明了所提出范式的可行性和有效性。最后，第5节总结了主要发现并讨论了未来研究的潜在方向。

章节片段

初步介绍和问题陈述

DR-PDEE通过构建内在漂移函数，为高维非线性随机系统的瞬态响应PDFs提供了一个精确的低维控制方程。这一特性使得DR-PDEE成为一个物理驱动且计算效率高的随机响应分析和可靠性评估框架[44]。为了便于清晰理解所提出的方法，本节介绍了DR-PDEE的一般公式并讨论了

基于时变MPINN的变分贝叶斯数据同化

受到上述挑战的启发，本研究提出了一种变分贝叶斯数据同化框架，以实现时空内在漂移函数和响应PDF预测的UQ。此外，在时变MPINN架构中提出了一种自适应损失加权策略，其中预测误差的方差被视为可以从噪声数据中自动学习得到的变量。

示例说明和讨论

在本节中，通过涉及一维和二维DR-PDEEs的三个数值示例，展示了所提出的变分贝叶斯数据同化框架的适用性和性能。前两个示例分别考虑了一维和二维DR-PDEEs中单个未知时空内在漂移函数的情况。值得注意的是，第二个示例为内在漂移函数和稳态响应提供了解析表达式

结论

DR-PDEE为高维随机动态系统中响应PDF的演化提供了一个精确的控制方程，其解决方案依赖于时空内在漂移函数的准确估计。最近的发展引入了时变MPINN框架，作为解决DR-PDEE作为逆问题的一个有前景的替代方案，特别是通过充分利用现有的代表性样本来提取噪声PDF数据。然而，其确定性

写作过程中生成式AI和AI辅助技术的声明

在准备这项工作时，作者使用了ChatGPT来改进语言。使用该工具后，作者根据需要审查和编辑了内容，并对发表文章的内容负全责。

CRediT作者贡献声明

郝腾腾：写作——原始草稿、验证、软件、方法论、调查。严王吉：写作——审阅与编辑、监督、项目管理、方法论、调查、资金获取、概念化。陈建兵：写作——审阅与编辑、监督。袁嘉文：写作——审阅与编辑、资金获取。