深度学习中的经验不确定性量化：在流体动力学中的应用

《Computers & Fluids》：Empirical uncertainty quantification in deep learning: Applications to fluid dynamics

　　恩里科·福利亚|本杰明·博比亚|迈克尔·鲍尔海姆|蒂埃里·贾丁|斯特凡·莫罗|帕斯卡尔·富阿
法国图卢兹航空航天高等学院

**摘要**
深度学习在流体力学领域变得越来越普遍。然而，由于难以预测其泛化能力，它仍然面临着阻力。这一挑战可以通过训练能够自我识错模型的方法来部分解决——即能够在其预测结果提供有意义的不确定性估计的模型。尽管不确定性量化是深度学习领域中一个成熟的研究方向，但它尚未在流体力学中获得广泛采用，尤其是在基于神经网络的模型中。本文综述了近年来在具有不确定性意识的深度学习方面的进展，重点介绍了那些基于严格数学框架的方法，同时这些方法对标准架构或训练程序的修改要求最小。通过对两个复杂程度逐渐增加的流体力学数据集进行评估，研究了四种方法（深度集成、蒙特卡洛丢弃、随机梯度朗之万动力学和之字形学习），以展示它们的优点和局限性。同时强调了重新校准的重要性。

**引言**
深度学习技术在流体力学领域更广泛采用的主要障碍之一是人们对其预测结果的可靠性存有质疑。即使是很小的深度学习模型也包含数千个参数，这些参数以分层结构连接在一起，并且交织着非线性元素，这使得对其预测结果的精确解释变得困难。特别是，很难预测模型在训练数据集之外的表现。然而，在形状优化等领域，这一点至关重要，因为在随机生成的训练数据集中不太可能出现最优的几何形状。因此，能够获取误差估计范围和不确定性度量是非常必要的。

在统计建模中，我们需要根据某些先验信息（分别称为“输出”和“输入”）来考虑观测结果的不确定性。通常将这种不确定性分为两类：随机不确定性和认知不确定性。这两种分类分别代表“数据的固有随机性”以及对所研究物理系统的“知识有限”的影响。虽然这种分类很有吸引力，但它没有考虑到除了量子层面之外，任何物理系统中都不存在所谓的固有随机性，所有随机性都是由于知识不足造成的（正如杰恩斯[1]所论述的）。所有的不确定性都是认知不确定性的吗？既是也不是。这种区分更多是出于实际考虑：我们将那些模型无法控制的不确定性称为随机不确定性，而那些可以通过改进模型来减少的不确定性称为认知不确定性[2]。一个例子可以更好地解释这一点：假设建立一个模型来预测翼型的升力系数CL，该系数是通过风洞中的力平衡测量获得的，同时知道雷诺数Re和攻角α。由于湍流波动、电气噪声和其他系统振动的影响，升力系数的值会随时间波动，因此模型以概率分布pθ(Cl|Re,α)的形式表示，其中θ代表定义模型的变量。如果翼型存在滞后现象，即从上方或下方接近攻角时升力系数的变化不同，那么数据的分布将呈现双峰态，我们将这种不确定性称为随机不确定性，因为它与模型本身的设计无关。而单峰分布的模型则具有较高的认知不确定性（有时称为模型形式不确定性），因为它不适合表示实际数据；但如果选择了正确的参数θ，两个高斯分布的混合模型则可能具有较低的认知不确定性。如果模型设计者不考虑攻角的到达方向（用↑或↓表示），那么这就是模型的最佳表现。因此，在本文中，我们将将那些可以通过改进模型来减少的不确定性称为认知不确定性，而那些无法改变的不确定性称为随机不确定性。在第3.1节中将会看到，当使用贝叶斯模型时，这通常意味着关于最优参数集合的不确定性；模型形式（如架构类型或层数）也是固定的。需要注意的是，正如上面的例子所示，实际上通过收集更多样化的信息可以减少随机不确定性，但在本文的讨论中我们排除了这一选项（见图1）。

不确定性量化（UQ）是深度学习领域的一个活跃研究课题，最早的相关工作可以追溯到该领域的早期[3],[4]，并且这一领域不断发展[5],[6],[7]。近年来，一些框架开始成为指导原则。如今，大多数研究人员采用贝叶斯深度学习范式来量化认知不确定性，但也有一些例外。随着流体力学领域对机器学习兴趣的不断增加，现在是时候弥合深度学习的先进不确定性量化方法与其在流体力学中替代建模应用之间的差距了。吉梅内斯[8]的最新工作强调了在湍流模拟中明确包含随机性的必要性，这促使我们更多地从概率分布的角度来思考问题，而不是 deterministic 函数。然而，流体力学界迄今为止主要将不确定性量化技术应用于从输入到输出的精确高效传播，无论是计算[9],[10],[11]还是实验[12]设置。关于将不确定性量化技术应用于流体力学深度学习替代模型的文献仍然很少，这也是本文研究的动机之一。最近的一项研究专注于将深度集成应用于变分自编码器架构，以预测不同攻角下对称NACA翼型的流场[13]。然而，这项工作中提出的随机不确定性和认知不确定性之间的区分与深度学习领域常用的区分不同，可能会引起混淆。

本文的目标是为流体力学界提供必要的工具，以便将其深度学习模型中整合当代的不确定性量化方法。本文提供了理解现有文献所需的基本理论背景，介绍了大多数应用构建和评估所基于的核心概念。比较了四种不同的不确定性量化技术：蒙特卡洛丢弃[14]、深度集成[15]、随机梯度朗之万动力学[16]和之字形学习[17]。这些方法代表了四种不同的认知不确定性估计范式，并在两个不同的数据集上进行了评估和比较。我们提倡使用简单的事后重新校准技术，并展示了它们在数值实验中的有效性。

本文的结构如下：第2节以独立的方式介绍了训练和评估概率深度学习回归模型的数学背景。第3节介绍了一些主要的不确定性量化技术。这并不是对该主题的系统性回顾，感兴趣的读者可以在[5],[6],[7]中找到一些优秀的资源。相反，本文重点介绍了一些实现简单、效果良好且有理论支持的解释方法。这种选择主要关注贝叶斯深度学习方法和一种频率主义方法，以突出两者之间的区别。然后在这些技术上测试了流体力学界感兴趣的两个案例。数据集和模型的介绍分别见第4.1节和第4.2节。第4.1节讨论了在不同流动条件下对孤立翼型噪声谱的噪声实验测量，这种情况同时包含随机不确定性和认知不确定性，可以通过简单的前馈神经网络轻松建模。第4.2节则讨论了基于雷诺平均数值模拟（RANS）的二维翼型压力分布预测。在这种情况下，噪声的随机成分可以忽略不计，所使用的模型更接近实际工业应用。第5节给出了结果和讨论。

**符号说明**
在本文的其余部分，所有真实的概率（即与数据相关的概率）都将表示为 p(Y|X)，而预测的概率则取决于权重θ。为了便于阅读，pθ(Y|X)通常写作 p(Y|X,θ)。所有概率度量都假设具有相关的概率密度函数，概率密度和概率分布这两个术语可以互换使用。输入和输出分别用大写罗马字母X和Y表示。

**方法论**
估计认知不确定性的挑战在于需要考虑概率分布之间的差异，而不仅仅是单个预测[21]。理论上，可以通过在概率分布的空间 ΔY 上放置一个概率分布来实现这一点。然而，正如Bengs等人[22]指出的，如果不对数据进行任何假设，就无法以频率主义的方式训练出一个能够真实反映其认知不确定性的模型。

**数据集和模型**
上述不同的方法应用于两个需要完全不同建模框架的流体力学任务：(i) 用于处理布鲁克斯、波普和马尔科里尼实验测量的翼型自噪声的简单多层感知器（MLP）；(ii) 用于预测高雷诺数下翼型压力分布的图神经网络（GNN）。这些应用允许比较不同复杂度任务中的方法。

**翼型自噪声**
图7中的相关性图表显示所有模型都能很好地拟合数据，其中深度集成在R2评分方面表现最佳。不过，差异很小。此外，对于概率模型，R2评分只能部分反映模型的性能：应该结合校准指标来解释。例如，深度集成和之字形学习都具有良好的分位数校准，而蒙特卡洛丢弃和随机梯度朗之万动力学则不然。

**结论**
将深度学习模型视为概率预测器提供了一种处理数据（随机）和模型（认知）不确定性的原则性方法。尽管这需要范式的转变，但许多可用的技术在理论上都有依据，并且在实践中易于实现。在本文中，比较了四种这样的方法——三种贝叶斯方法（深度集成、随机梯度朗之万动力学和蒙特卡洛丢弃）和一种频率主义方法（之字形学习）。

**作者贡献说明**
恩里科·福利亚：撰写——审稿与编辑、撰写——初稿、可视化、验证、软件开发、方法论研究、形式分析、数据整理、概念化。
本杰明·博比亚：撰写——审稿与编辑、研究。
迈克尔·鲍尔海姆：撰写——审稿与编辑、监督、方法论研究、资金获取、概念化。
蒂埃里·贾丁：撰写——审稿与编辑、监督、方法论研究、资金获取、概念化。
斯特凡·莫罗：撰写——审稿与编辑。

**利益冲突声明**
作者声明以下可能存在潜在利益冲突的财务利益/个人关系：斯特凡·莫罗报告称获得了加拿大国家科学与工程研究委员会的财务支持；迈克尔·鲍尔海姆报告称获得了EUR-TSAE的财务支持。如果还有其他作者，他们声明没有已知的可能会影响工作的财务利益或个人关系。