《Neural Networks》：Gradient-Informed Neural Networks: Embedding Prior Beliefs for Learning in Low-Data Scenarios
编辑推荐：
本文提出梯度信息神经网络（GradINN），通过引入先验信念约束目标函数梯度行为，在低数据场景下提升神经网络对复杂工程问题的逼近能力。研究结合双网络结构与定制化损失函数，在合成基准函数和实际工程任务中验证了其优于标准神经网络的性能，为数据稀缺领域的建模提供新思路。
在计算物理和工程建模领域，神经网络（NNs）已成为处理复杂系统的关键工具，尤其在传统经验模型无法满足精度要求或难以获得闭合形式解的场景中。然而，当训练数据有限或分布稀疏时，神经网络面临预测性能下降和过拟合的严峻挑战。这类低数据场景在工程应用中十分常见，例如实验数据采集成本高昂或高保真仿真计算耗时巨大。物理信息神经网络（PINNs）通过嵌入控制方程残差作为约束部分解决了这一问题，但其依赖对物理规律的完整数学描述，当系统底层机理未知或过于复杂时难以直接应用。
梯度信息神经网络（GradINN）的创新之处在于，它不要求具体的微分方程形式，而是利用对目标函数梯度行为的定性先验信念（如平滑性、振荡性等）来引导学习过程。该框架包含一个主网络F?用于逼近目标函数，以及一个辅助网络?用于编码梯度先验。通过设计定制化损失函数，使F?的梯度在配置点上与?的输出保持一致，从而将先验信念融入训练，同时在数据驱动下动态调整约束强度。
研究采用双网络协同训练策略，主网络F?和辅助网络?分别初始化并使用不同的激活函数架构以体现先验特性（如使用Sigmoid激活传递平滑先验，SIREN网络传递振荡先验）。训练过程中，损失函数结合数据拟合项（L1）和梯度一致性项（L2），在标记数据和未标记配置点上交替优化。技术关键点包括：通过自动微分计算梯度；使用拉丁超立方采样生成配置点；采用早停法和学习率调度策略防止过拟合；针对高维问题引入残差连接增强网络表达能力。
合成函数实验
在Friedman、Goldstein-Price等五种合成函数上验证GradINN在低数据条件下的表现。结果显示：
- •
数据量敏感性分析：当训练样本数（NTRAIN）从50增至500时，GradINN的均方根误差（RMSE）和平均绝对误差（MAE）均显著低于标准神经网络（s-NN），且在NTRAIN较小时优势更明显。
- •
配置点数量影响：增加配置点数量（NCC超过1000后改善趋缓。
- •
先验适应性测试：对分段可微函数，平滑先验能有效抑制梯度振荡；而对Rastrigin等高频函数，采用振荡先验的GradINN能准确捕捉波动特征，避免平滑先验导致的欠拟合。
工程数据集验证
在UCI数据库的yacht、airfoilnoise等五个真实工程数据集上，GradINN在多数数据划分比例下（10%~50%）均保持更低误差。例如在yacht数据集（n=6）中，当仅使用31个训练样本时，GradINN的RMSE较s-NN降低约40%。结果表明，先验信念的引入显著提升了小样本条件下的泛化能力。
高维问题拓展
针对107维输入、7维输出的岩石裂缝渗流预测问题，GradINN凭借残差网络和ELU激活函数处理高维映射，在训练样本为250~750时仍保持稳定性能，证实框架对复杂系统的扩展性。
振荡先验专项研究
通过Ackley、Eggholder等高频基准函数对比平滑先验与振荡先验效果。结果显示：
- •
s-NN和平滑先验GradINN在高频区域出现明显偏差，而振荡先验GradINN能精确复现函数细节。
- •
先验编码不依赖具体函数形式，仅通过网络结构初始化即可实现适应性调节。
结论与讨论
GradINN通过将定性先验信念转化为梯度约束，在缺乏完整物理知识或真实梯度数据的场景下提供了新的正则化思路。其双网络设计允许灵活嵌入不同先验（平滑/振荡/异质），且训练中梯度约束会随数据积累动态松弛，平衡先验与实证。研究进一步指出，未来可探索高阶导数约束、损失函数权重优化及更复杂先验编码方式，以拓展其在多物理场建模等领域的应用。该成果发表于《Neural Networks》，为低数据驱动建模提供了理论工具和实验基准。
