结合物理学原理的功能性链接方法与功能性连接理论技术，用于求解微分方程

《Neurocomputing》：Physics-informed functional link with theory of functional connections technique for solving differential equations

基于功能链接理论（TFC）与功能链接神经网络（FLNN）的物理信息神经网络（FL-TFC）方法被提出，用于高效求解微分方程。该方法通过约束表达式（CE）自动满足初始和边界条件，结合FLNN建模自由函数，以最小化残差均方误差损失，无需复杂深层架构。实验表明FL-TFC在速度、精度和数据效率上优于传统PINNs，适用于实时和资源受限场景。

　　

Iswari Sahu|Sandeep Kumar|S. Chakraverty

印度罗尔凯拉国立技术学院数学系

摘要

本文提出了一种基于物理的快速高效的功能链接理论（FL-TFC）方法，用于求解各类微分方程（DEs）。该工作的主要贡献在于提出了FL-TFC这一新颖的物理信息神经网络（PINN）框架，它克服了传统PINN中基于惩罚的约束执行的局限性。该方法首先利用TFC来处理微分方程中的物理特性，从而得到一个自然满足所有初始条件和边界条件（ICs和BCs）的约束表达式（CE）。CE中的自由函数被视为功能链接神经网络（FLNN）。通过均方误差损失函数最小化微分方程的残差，无需复杂的深度架构即可完成训练。所提出的FL-TFC方法在基准线性/非线性常微分方程（ODEs）和偏微分方程（PDEs）上进行了测试，并将其性能与最先进的PINN方法进行了比较。实验结果表明，FL-TFC在训练速度、准确性和数据效率方面具有显著优势，展示了其在实时应用和资源受限环境中的潜力。

引言

微分方程是科学和工程领域数学建模的基石，用于描述从流体动力学和量子力学到生物系统及金融市场的各种现象。尽管微分方程应用广泛，但求解它们（尤其是非线性和高维PDEs）仍然是一个挑战。传统的数值方法如有限差分、有限元和谱技术已被广泛用于近似求解。然而，这些方法常常存在计算瓶颈、对网格的依赖性以及处理复杂边界条件的困难，限制了其在实际应用中的可扩展性和实用性。

近年来，基于机器学习（ML）的方法作为求解微分方程的新选择应运而生。其中，Raissi等人提出的PINN方法受到了广泛关注。PINN通过损失函数将物理定律直接嵌入神经网络训练中，对偏离控制方程、边界条件和初始约束的行为进行惩罚。这种范式转变消除了对离散网格的需求，使得在不规则域中也能得到解。Shan等人提出了包含方差的PINN（VIPINN），其输出层同时给出预测均值和相应方差。通过使用改进的负对数似然（MNLL）损失函数进行训练，该方法能够提供不确定性估计，并实现更好的预测和更快的收敛速度。Niu等人提出了改进的PINN（I-PINN），通过增强网络结构和自适应权重（包括上限）来解决梯度流中的梯度相关问题。然而，PINN仍面临计算成本高、收敛速度慢以及对超参数敏感的挑战，尤其是在处理大规模数据集的深度网络时。这些限制促使研究人员探索优化神经架构和训练策略以提高效率[4],[5],[6]。Pan和Li提出的物理信息机器学习（PIML）方法将物理和领域知识融入机器学习中，以提高可解释性、可靠性和数据效率。PIML方法通常分为混合模型、基于物理损失的模型和物理嵌入式架构。

Samaniego等人利用深度神经网络（DNN）研究了力学问题，通过系统的能量特性构建损失函数，从而提高预测准确性。他们没有采用边界值问题（BVPs）的严格形式，而是利用了BVPs的变分（能量）结构，为训练提供了更稳健的框架。Eshaghi等人提出了创新的PI-DeepONet架构——变分物理信息神经算子（VINO），通过域离散化和形状函数分析管理导数和积分，使算子完全基于物理原理。Zhu和Liu提出了有限体积物理信息U-net（FV-PIUnet），结合有限体积方法（FVM）学习离散化的PDE动态。与PINN相比，该方法在数据稀疏和边界条件受限的情况下提高了计算效率和准确性。Ren和Liu提出了物理信息卷积-循环网络（PhyCRNet），解决了标准PINN的局限性，能够无需标记数据即可学习系统动态。Li和Lu扩展了物理约束卷积-循环神经网络，使用软约束和自适应损失权重处理具有通用边界条件的时空PDEs。这些改进提高了二维相变、流体流动和反应-扩散系统等应用中的训练效率和边界处理能力。

在约束优化领域，平行进展引入了更有效的物理约束嵌入框架。Mortari提出的TFC提供了一种分析方法，用于构建自然满足边界条件或初始条件的约束表达式（CE）。通过将解表示为自由函数和约束项之和，TFC将问题简化为优化无约束残差，大大简化了训练过程。SM等人利用TFC近似求解分数阶微分方程。Mai和Mortari使用TFC解决了二次和非线性规划问题。Campana等人结合TFC和同伦延续方法设计了低能耗传输轨迹。FLNN将输入特征扩展到高维空间，提供了传统深度神经网络的轻量级替代方案，避免了深度架构的复杂性，同时保持了逼近能力，适用于需要快速计算的问题。

近期研究探索了将TFC与ML模型结合的混合方法来求解微分方程。例如，Schiassi等人使用TFC与极端学习机（ELM）结合求解线性和非线性微分方程。TFC-ELM将学习模型集成到TFC框架中，自由函数使用固定的随机隐藏特征和可训练的输出权重表示。这种方法在求解线性ODEs时速度快且准确，但在处理高维问题（如PDEs）时效果不佳。虽然FLNN已应用于微分方程，但它们与TFC结合构建物理信息解的潜力尚未充分探索。填补这一空白可能带来一种计算效率高、在高维问题中具有更好解且天然符合物理约束的框架。

在本文中，我们开发了一种新颖的物理信息FL-TFC方法，结合TFC和FLNN高效求解微分方程。该方法首先使用TFC构建自动满足初始/边界条件的CE试验解，然后使用FLNN对CE中的自由函数进行建模。通过均方误差损失函数最小化微分方程的残差，无需复杂深度架构即可完成训练。这种组合具有三个关键优势：（1）效率：FLNN通过减少深度层和反向传播的权重来降低计算成本；（2）鲁棒性：TFC确保严格遵循约束，无需损失函数中的惩罚项；（3）数据节省：与PINN相比，该方法在较小数据集下也能获得高精度。

我们在基准线性/非线性ODEs和PDEs上验证了FL-TFC的方法，并将其性能与最先进的PINN方法进行了比较。结果表明，FL-TFC在训练速度、准确性和数据效率方面具有显著优势，展示了其在实时应用和资源受限环境中的潜力。这项工作增强了TFC与ML的集成，为科学和工程领域中复杂微分方程的求解提供了可扩展的框架。

本文的其余部分结构如下：第2节概述了开发该方法所需的预备知识，包括TFC和PINN架构；第3节展示了FL-TFC方法；第4节提供了数值实验；第5节总结了研究结果。

部分摘录

预备知识

我们首先定义了重要概念，包括TFC和PINN，它们是所提方法的基础。

FL-TFC方法

本节介绍FL-TFC方法用于求解ODEs/PDEs。假设控制微分方程如方程（8）所示，并给定了初始条件/边界条件。第一步是使用ODE的初始条件/边界条件获得解函数的CE$$。为此，使用第2.1节讨论的TFC方法，该方法根据ODE的约束生成一个始终通过这些点的函数。从而得到自然满足物理特性的CE$$

结果与讨论

在本节中，我们展示了FL-TFC方法利用CE求解各种ODEs和PDEs的能力。我们还将其与领先的PINN方法进行了比较，以突出其优势和有效性。讨论内容包括训练所需的参数数量、达到所需误差所需的时间以及计算难度。通过展示和分析这些典型案例，我们旨在清晰地展示FL-TFC的性能和实际应用价值。

结论

本文介绍了一种结合方程物理特性、浅层神经网络的功能扩展和功能连接的新方法。该方法基于功能扩展，仅在输出层使用最小权重，从而加快了训练速度。此外，基于CE的PDE残差自然处理了所有初始条件和边界条件以及控制方程的物理特性，提高了方法的准确性。此外，使用TFC获得的CE可以作为...

作者贡献声明

Iswari Sahu：撰写——审稿与编辑、初稿撰写、可视化、验证、软件开发、方法论研究、数据分析、概念化。Sandeep Kumar：撰写——审稿与编辑、初稿撰写、可视化、验证、软件开发、资源管理、方法论研究、数据分析、概念化。S. Chakraverty：撰写——审稿与编辑、验证、监督、研究指导、数据分析、概念化。

利益冲突声明

作者声明没有已知的财务利益或个人关系可能影响本文的研究结果。

致谢

作者感谢罗尔凯拉国立技术学院提供的研究设施。第一作者还要感谢印度科学与工业研究委员会（CSIR）的奖学金支持。

Iswari Sahu目前是印度奥里萨邦罗尔凯拉国立技术学院数学系的研究学者。她的研究兴趣包括机器学习方法、数值分析和微分方程。她毕业于印度桑巴尔普尔的Gangadhar Meher大学，获得数学硕士学位。