一种基于数据的可集成BFGS算法（IBA-PDE），用于发现偏微分方程（PDEs）

《Physica D: Nonlinear Phenomena》：A data-driven integrable BFGS algorithm (IBA-PDE) for discovering PDEs

数据驱动偏微分方程发现方法，BFGS算法优化，可积方程识别，高精度系数估计，鲁棒性验证

　　

作者：田仕芳 | 李彪

单位：宁波大学数学与统计学院，中国宁波 315211

摘要

数据驱动的偏微分方程（PDE）发现已成为一个热门课题，学者们提出了一些优秀的数据驱动方法（如 PINNs、PDE-FIND、DLGA-PDE、SGA-PDE），并在发现 PDE 方面取得了良好的成果。本文提出了一种新的可积分 BFGS 算法（IBA-PDE）用于 PDE 的发现，该方法解决了两个关键问题：（1）为了管理候选 PDE 项的复杂性和冗余性，它结合了针对部分可积 PDE 的权重平衡条件以及初步优化策略，首先缩小了 PDE 候选范围；（2）为了准确估计未知的 PDE 系数，该方法采用了 BFGS 优化算法，提高了识别过程的精度。通过系统的数值实验，IBA-PDE 表现出了卓越的能力，不仅重新发现了基本的 PDE，还以前所未有的精度解决了之前难以处理的系统。具体来说，IBA-PDE 发现了几种复杂的可积 PDE（五阶 KdV 方程、Kaup-Kupershmidt 方程、Sawada-Kotera 方程、改进的 KdV 方程、Hirota 方程以及（2+1）维的 Kadomtsev-Petviashvili 方程），以及两种不可积的 PDE（Burgers-KdV 方程和 Chafee-Infante 方程），这些方程的均方误差（MSE）均小于 $\backslash math\{10^\{-9\}$，系数误差几乎为零。此外，与其他数据驱动方法相比，IBA-PDE 在整个发现完整 PDE 的过程中使用了更少的实验数据，无论是在确定 PDE 候选项阶段还是确定系数阶段。对于不可积系统，IBA-PDE 采用了自适应发现机制，不仅成功解决了 Burgers-KdV 方程，还自主识别出与 Chafee-Infante 方程数据更匹配的新 PDE，将 MSE 从 \math{10^{-11} 降低到了 \math{10^{-14}。鲁棒性分析证实了该方法在 1%、3% 和 5% 的噪声条件下仍能保持相同的 MSE 水平。IBA-PDE 为数据驱动的 PDE 发现树立了新的范式，在物理学、工程学、力学、化学和生物学等领域具有发现新 PDE 或从实验数据中匹配已知 PDE 的巨大潜力。

引言

偏微分方程（PDE）对于流体力学、等离子体物理学和光纤通信等领域中的现象建模至关重要 [1]、[2]、[3]、[4]。尽管由于它们在理解和预测物理系统中的重要性而受到了大量研究关注，但许多现实世界系统的复杂性和不规则性使得从理论推导 PDE 成为一项具有挑战性的任务。大数据时代的到来和计算技术的进步推动了数据驱动方法在计算机视觉、推荐系统和自然语言处理等领域的应用 [5]、[6]、[7]、[8]、[9]。近年来，研究人员开始应用数据驱动方法来发现 PDE，已经出现了一些优秀的数据驱动方法，例如：基于物理信息的神经网络（PINNs）、稀疏回归算法和遗传算法。

Raissi 等人提出的 PINNs 框架 [10] 假设已知 PDE 结构，并使用随机梯度下降和批量梯度下降等传统方法优化其系数。该研究成果具有开创性，通过提供源代码，许多研究人员可以在此基础上继续研究，从而提出更多基于 PINNs 的优秀模型。Jagtap 等人 [11] 通过重新定义训练范围并强制能量守恒来改进 PINNs，成功发现了超声速流动方程。Lu 等人 [12] 将 PINNs 扩展到分数 PINNs（fPINNs），实现了时空分数对流-扩散方程（分数 ADEs）的发现。Leung 等人 [13] 提出了 NH-PINNs，这是一种三步 PINNs 框架，利用神经均匀化有效发现了二维椭圆方程和反应-扩散方程。Li 等人 [14] 提出了一种混合训练 PINNs 方法，重新定义训练域以整合边界和初始条件，成功识别了非线性薛定谔（NLS）方程。Zhou 等人 [15]、[16] 通过 PINNs 成功发现了（2+1）维的 KP 方程和对数 NLS 方程。Lin 等人 [17] 提出了一种基于守恒律的两阶段 PINNs 方法，并将其应用于 Sawada-Kotera 方程和经典的 Boussinesq-Burgers 方程。Peng 等人 [18] 应用 PINNs 发现了 Manakov 系统和非局部 Hirota 方程等 PDE。在 PINNs 的基础上，Zhang 等人 [19] 提出了物理元学习（PML）模型，通过优化初始系数使发现的 PDE 的系数更加准确。

稀疏回归算法，主要使用 LASSO 和 STRidge，在 PDE 发现中发挥了重要作用。Rudy 等人 [20]、[21] 开发了基于 STRidge 的 PDE-FIND，这是稀疏非线性动力学（SINDy）[22] 框架的基石，成功识别了经典的 Burgers 方程、KdV 方程和非线性薛定谔（NLS）方程等。该模型为研究人员提供了很好的思路，并使他们相信，在未知方程具体形式的情况下，仍然可以通过数据驱动方法发现 PDE。PDE-FIND 成为 PDE 发现中符号回归方法的基本基准。Sadr 等人 [23] 提出了一种基于伴随的方法，通过未确定系数的方法成功发现了 Burgers 方程、Kuramoto-Sivashinsky 方程和反应-扩散方程。

研究人员还将神经网络和符号数学与遗传算法相结合，产生了 DLGA-PDE [24] 和 SGA-PDE [25]、[26] 等方法，这些方法也成功发现了经典的 PDE。

尽管现有方法在发现基本 PDE 方面取得了显著成功，但它们仍存在某些局限性。例如，PINNs 目前仅限于优化已知 PDE 的系数，无法仅从数据中完全发现 PDE。其他方法，如 PDE-FIND、DLGA-PDE 和 SGA-PDE，在应用于高维 PDE、高阶 PDE 和不可积 PDE 时仍面临重大挑战。因此，数据驱动的复杂结构 PDE 的发现仍然是一个极具挑战性的研究领域。

BFGS 方法 [27] 是一种用于解决非线性优化问题的强大算法。它依靠梯度信息构建模型，并通过基于梯度的更新实现超线性收敛。为了解决当前数据驱动方法的局限性，本文提出了一种新的可积分 BFGS 算法（IBA-PDE）用于 PDE 的发现。该方法解决了两个主要挑战：首先，它结合了部分可积 PDE 的权重平衡条件以及初步优化策略来管理候选 PDE 项；其次，它采用 BFGS 优化算法来微调 PDE 的系数，并通过一系列数值实验评估其性能。

本文的结构如下：第 2 节介绍了某些可积 PDE 的权重平衡条件。第 3 节介绍了 BFGS 优化方法。第 4 节概述了所提出的 IBA-PDE 方法的总体框架和工作流程。第 5 节提供了数值实验来评估算法的性能。第 6 节通过额外的实验研究了 IBA-PDE 的鲁棒性。最后，第 7 节以结论和讨论结束本文。

部分可积 PDE 的权重平衡条件

在本节中，我们正式化了 IBA-PDE 中使用的权重平衡条件的描述，并介绍了其与缩放对称性和经典可积系统的关系。该介绍遵循了 G?kta? 和 Hereman [28]、[29] 在符号可积性测试中开发的缩放-权重形式主义。

用于优化问题的 BFGS 方法

BFGS 方法是常用的解决无约束优化问题的方法，具有快速收敛的优势。该方法的基本概念是构建一个正定对称矩阵，能够在没有二阶偏导数的情况下近似 Hessian 矩阵。 BFGS 算法使用 B_k 作为 H_k 的近似值，这里我们直接给出计算公式：