《COMPUTER METHODS IN APPLIED MECHANICS AND ENGINEERING》：Bayesian inference for PDE-based inverse problems using the optimization of a discrete loss
编辑推荐：
提出B-ODIL方法，将ODIL的PDE残差作为先验知识与观测数据似然结合，解决高维PDE逆问题并量化不确定性，应用于肿瘤浓度估计与MRI数据。
卢卡斯·阿穆德鲁兹（Lucas Amoudruz）|谢尔盖·利特维诺夫（Sergey Litvinov）|科斯塔斯·帕帕迪米特里欧（Costas Papadimitriou）|佩特罗斯·库穆萨科斯（Petros Koumoutsakos）
计算科学与工程实验室，哈佛约翰·A·保尔森工程与应用科学学院，19 Oxford St, 剑桥，MA 02138，美国
摘要
逆问题在科学、工程和医学的许多应用中至关重要，这些应用涉及数据同化、设计和成像。它们的解决方案是从噪声数据和部分可观测过程中推断出复杂系统的参数或潜在状态。当测量数据是对系统的不完全或间接视图时，需要额外的知识来准确解决逆问题。采用以偏微分方程（PDEs）形式的系统物理模型是一种有效的弥补方法。特别是，优化离散损失（ODIL）的方法在鲁棒性和计算成本方面显示出巨大潜力。在这项工作中，我们介绍了B-ODIL，它是ODIL的贝叶斯扩展，它将ODIL的PDE损失作为先验知识，并将其与描述数据的可能性函数结合起来。B-ODIL使用基于PDE的逆问题的贝叶斯公式来推断具有量化不确定性的解决方案。我们通过一系列涉及一维、二维和三维PDE的合成基准测试展示了B-ODIL的能力。我们还展示了B-ODIL在利用三维肿瘤生长模型从MRI扫描中估计患者大脑中肿瘤浓度及其不确定性方面的应用。
引言
逆问题在科学、工程和医学中无处不在，特别是在观测数据只能提供关于系统的间接或不完整信息的情况下[1]。逆问题在各种应用中处于中心地位，例如流场重建[2]、[3]、[4]、数据同化[5]、医学成像[6]、[7]以及材料属性的参数估计[8]、[9]、[10]。当正向模型由常微分方程（ODEs）或偏微分方程（PDEs）控制时[11]，会出现一类特别具有挑战性的逆问题。通过数学模型结合物理知识可以限制可接受解的空间，并减轻病态问题的严重性，尽管逆问题通常仍然是病态的，仍然需要正则化[12]、[13]、[14]。然而，这种方法可能会受到问题高维度、测量噪声以及对参数敏感性的影响。特别是，使用标准技术（如贝叶斯推断[14]、[15]、变分方法[16]、集合卡尔曼方法[17]和基于伴随的优化[18]）来量化解决方案的不确定性是具有挑战性的，这些方法在可扩展性、鲁棒性和计算成本方面可能存在局限性。在函数空间公式化的背景下，已经对基于PDE的逆问题的贝叶斯推断、拉普拉斯和高斯-牛顿型近似进行了广泛研究[14]、[19]、[20]、[21]。
同时，基于DeepONets[22]、傅里叶神经算子[23]和图神经网络[24]、[25]的算子学习方法已被扩展到逆问题和不确定性量化[26]、[27]、[28]。类似的贝叶斯技术依赖于训练数据来构建先验知识[29]。然而，将这些算子学习技术应用于大规模问题受到其训练成本和生成足够高保真数据的难度的限制。此外，当训练数据不涵盖逆问题中遇到的情况时，它们的性能可能会下降，使得泛化变得具有挑战性。
最近，基于PDE的逆问题通过物理信息神经网络（PINNs）[30]和优化离散损失（ODIL）[31]的方法得到了解决。在这两种方法中，逆问题的解决方案是通过最小化一个包含两个项的损失来获得的：场与数据之间的偏差，以及在时空配点处评估的PDE残差。将这些项合并为一个单一损失是由Leeuwen和Herrmann首次提出的，并应用于线性PDE[18]。PINNs和ODIL在场的表示方式以及PDE残差的估计方式上有所不同。PINNs将场表示为以时空为输入的神经网络的输出，然后通过自动微分来估计PDE的残差。相比之下，ODIL中的场存储在网格上，PDE残差使用传统离散化方法估计，由于这些算子的局部性，因此在计算上比PINNs具有显著优势[31]。PINNs和ODIL在许多应用中取得了成功，从流体力学[4]、[32]、[33]、[34]到肿瘤生长[35]、[36]，以及流体控制和操纵的学习策略[37]、[38]。
尽管取得了这些进展，PINNs和ODIL的解决方案仍可能受到提供数据的测量误差的影响。特别是，目前尚不清楚这些测量误差如何影响逆问题解决方案的不确定性。最近的研究在PINNs[39]、[40]的背景下通过贝叶斯和共形预测框架[41]解决了这些问题，以考虑未知场的变异性。然而，类似的理论尚未为ODIL开发出来。我们注意到，PINNs的贝叶斯扩展已应用于少于两个维度的问题。另一方面，ODIL的贝叶斯扩展有可能为更高维度的逆问题提供量化的不确定性，因为在二维和三维基准问题中，ODIL已被证明比PINNs快几个数量级且更稳健[31]。
在这项研究中，我们介绍了B-ODIL，它是ODIL的贝叶斯扩展。B-ODIL能够在保持ODIL的计算结构和可扩展性的同时，实现对高维基于PDE的逆问题的不确定性量化和鲁棒性。在这个框架中，先验结合了来自PDE的知识，而可能性函数将观测数据与未知场联系起来。这种方法提供了具有量化不确定性的逆问题解决方案。我们通过使用不同的采样技术和两种近似策略来估计后验分布，从而减轻了计算负担：(i) 对于中等维度问题，使用完整的拉普拉斯近似来近似联合后验；(ii) 为大规模情况设计了一种以参数为中心的近似模式，以实现可扩展的推断。我们设计了一系列复杂程度逐渐增加的基准测试来测试B-ODIL。首先，我们考虑描述谐振子动态的ODE，以比较拉普拉斯近似和模式近似与在同一计算上可行的设置中对相同后验进行哈密顿蒙特卡洛（HMC）采样的有效性。然后，我们将B-ODIL应用于具有未知初始条件的一维扩散方程PDE，引入了在基于PDE的推断中典型的病态逆问题的挑战，其中不确定性量化至关重要。第三个基准测试了该方法从合成数据重建非线性二维PDE状态的能力，并证明真实值落在B-ODIL提供的不确定性范围内。最后，我们将该方法应用于结合真实患者数据的三维肿瘤生长模型，并根据医学图像提供了具有量化不确定性的肿瘤细胞场估计。
部分代码片段
ODIL
我们考虑在时空域Ω中定义的PDE，其边界和初始条件位于?Ω上，
