基于残差对抗梯度移动样本的残差对抗梯度移动样本方法在科学机器学习求解偏微分方程中的应用

这篇研究综述提出了一种名为RAMS（Residual-Based Adversarial-Gradient Moving Sample，基于残差的对抗梯度移动样本）的新型梯度优化采样方法，用于解决物理信息神经网络（PINN）和神经算子等科学机器学习（SciML）模型在求解偏微分方程（PDE）时，高维问题与算子学习场景下的高效采样难题。该方法将样本点（如时空坐标或函数样本）视为可训练参数，并沿对抗梯度方向移动，以最大化PDE残差，从而显著提升模型精度。RAMS可无缝集成到现有采样框架中，实验表明其在降低计算成本的同时，为PINN及算子学习（包括物理信息驱动与数据驱动）任务带来了数量级或显著的精度提升，首次实现了算子学习的高效自适应采样。

　　

在人工智能（AI）革命性地渗透到科学研究和工程应用的浪潮中，利用AI预测偏微分方程（PDE）解已成为备受关注的前沿领域。其中，物理信息神经网络（PINN）和神经算子（Neural Operator）是两种主流的科学机器学习（SciML）范式。然而，这两种方法都面临一个核心权衡：增加训练样本量通常能提升网络性能，但也会同步增加物理信息训练或数据驱动训练的计算成本。为解决这一矛盾，研究者们开发了多种采样策略，旨在PDE残差较大的区域更密集地采样。然而，对于高维PDE或算子学习等复杂任务，现有采样方法往往计算开销巨大，难以有效定位高残差区域。

针对这一挑战，研究者提出了一种名为RAMS（残差对抗梯度移动样本）的新型梯度优化方法。该方法将样本点（在PINN中是时空坐标，在算子学习中还包括输入函数样本）视为可训练参数，通过梯度上升法沿对抗梯度方向移动这些样本，以最大化由底层PDE定义的物理损失。RAMS的核心理念在于主动将样本“驱动”至模型当前预测误差较大的区域，而非被动等待或随机重采样，从而以更少的样本实现更高效的训练。该方法设计灵活，能够方便地嵌入到现有的非自适应（如均匀随机、拉丁超立方、Halton序列）和自适应采样方法（如基于残差的自适应细化及其变体RAR-G、RAR-D、R3）中，形成增强版本。

RAMS方法详解

RAMS的算法流程简洁明了。对于一组给定的样本（记为集合Ξ），算法遍历其中每个样本ξ。首先，利用自动微分计算该样本点处物理损失关于样本坐标的梯度?_ξ?_phy。然后，以此梯度方向为指导，通过梯度上升法更新样本位置，目的是最大化该点的物理损失。此过程可进行n_RAMS次迭代。最后，若更新后的样本超出了原始定义域（如PINN的求解区域或算子学习中函数的允许空间），则通过一个投影算子ρ将其映射回有效空间。对于PINN，简单的边界投影即可；对于以传感器值参数化输入函数的算子学习，则采用与高斯随机场同核的核平滑方法作为投影器，以保持函数的光滑性。整个流程可以向量化并行执行，计算开销极低，通常不足总训练时间的2%。

在PINN中的应用与验证

研究通过一系列经典PDE问题验证了RAMS结合不同采样方法的有效性。在一维Burgers方程、一维波动方程和二维泊松方程的测试中，无论是非自适应的随机采样、LHS、Halton序列，还是自适应的RAR-G、RAR-D、R3方法，在集成RAMS后，模型的相对L²误差均得到显著降低，平均提升幅度从40%到超过一个数量级。特别地，在具有尖锐内峰的解的二维泊松方程中，可视化显示RAMS能够引导可训练样本从初始的均匀分布逐渐向高残差区域（即峰值附近）聚集，直观展示了其工作机理。

面对高维PDE的挑战，RAMS的优势更为突出。在一个维度d最高为10的模型问题中，传统的随机采样在d≥7时完全失效，而结合了RAMS的随机采样仅用20000个配点便在d=10时仍将误差保持在10^-2以下。更关键的是，要达到特定精度（如相对均方误差≤10^-3）所需的最小计算成本，随机采样随维度增加呈爆炸性增长，而RAMS方法的成本增长则近似线性，展现了其处理高维问题的卓越效率。

在物理信息算子学习中的应用与验证

RAMS被成功拓展至物理信息（PI）算子学习，主要基于深度算子网络（DeepONet）。在扩散-反应方程、对流方程、分段常数传导率的泊松方程等多个算例中，RAMS与随机采样或RAR-G结合，均能稳定提升DeepONet的预测精度，不仅改善了在训练分布内的插值性能，还增强了对更小相关长度测试数据的泛化（外推）能力。研究还探讨了样本训练迭代次数n_RAMS对效果和计算开销的影响，发现精度提升通常随n_RAMS增加而改善，但存在一个较优区间，且额外计算开销始终很小（约2%）。

在一个一维动态系统的复杂算子学习问题上，现有方法DAS²需要数万样本才能达到较好精度，而RAR-G结合RAMS或随机采样结合RAMS，仅需其约3%（1000-2500个）的样本量就能取得可比拟的精度，凸显了RAMS在减少对昂贵数据（无论是模拟还是实验）依赖方面的巨大潜力。

在数据驱动算子学习中的应用与验证

RAMS还可作为主动学习策略应用于数据驱动的算子学习。其流程是：先用小规模初始数据集训练网络，随后在每次重采样阶段，从大量候选输入函数中筛选出PDE残差最大的一批，用RAMS对其进行优化，再通过数值求解器或实验获取其对应的真实输出，从而构成新的、信息量更大的训练数据对加入数据集。在不连续速度的波动方程和二维Burgers方程（区分了低粘度/小样本和高粘度/大样本两种复杂情形）的测试中，这种策略相比纯随机采样取得了显著的精度提升（最高达63%），且在不同训练集规模下表现稳健。

结论与展望

综上所述，RAMS是一种通用、高效且轻量的采样增强策略。它将样本优化与网络参数优化置于同一框架下，通过最大化残差的对抗性思维，引导样本覆盖解空间中最具挑战性的区域。该方法与现有采样方法高度兼容，能显著提升PINN处理高维PDE的能力，并首次为算子学习（无论是物理信息还是数据驱动范式）提供了可行的自适应采样方案，标志着SciML领域的一项重要进展。未来，该方法有望应用于训练能求解多种PDE的基础模型，进一步拓展其应用范围。所有代码已在GitHub开源，以供社区验证和发展。