GASP：用于基于物理的模拟的高斯散布算法

基于高斯漫反射的物理模拟集成方法研究，提出GASP管道直接在物理引擎上操作点，无需修改引擎代码，采用高斯分层策略加速模拟，并利用三角形重新缩放消除离散点 artifacts，在静态和动态场景中实现高质量物理交互，验证其在多场景下的有效性。

　　

Piotr Borycki|Weronika Smolak-Dy?ewska|Joanna Waczyńska|Marcin Mazur|S?awomir Tadeja|Przemys?aw Spurek

波兰克拉科夫雅盖隆大学数学与计算机科学学院

摘要

物理模拟对于在各种实际应用中建模和利用3D场景至关重要。然而，将其与最先进的3D场景渲染技术（如高斯散布算法（GS）集成仍然具有挑战性。现有模型使用了额外的网格划分机制，包括三角形或四面体网格划分、行进立方体算法或笼型网格。另一种方法是修改基于物理的牛顿动力学，以使其与3D高斯分量对齐。当前模型采用变形图的一阶近似，通过线性变换在局部近似动力学。相比之下，我们的基于物理的模拟（GASP）流程使用参数化的平面高斯分布。因此，使用物理引擎建模高斯分量的问题简化为处理3D点。在我们的工作中，我们提出了额外的规则来操作高斯分布，展示了如何调整流程以结合网格、在模拟过程中控制高斯尺寸并提高模拟效率。这是通过高斯分组策略实现的，该策略实现了分层结构，使得模拟可以仅在选定的高斯分布上进行。所得解决方案可以集成到任何物理引擎中，这些引擎可以被视为黑盒。正如我们的研究所示，所提出的流程在为3D对象渲染设计的各种基准数据集上表现出更好的性能。项目网页（包含额外的可视化内容）可以在https://waczjoan.github.io/GASP找到。

引言

最近的高斯散布算法（GS）（Kerbl等人，2023年）的发展极大地影响了计算机图形学领域，使得可以从带有标注相机位置的图像中建模三维（3D）场景。GS模型将3D场景表示为一组3D高斯分布，从而实现了快速训练和渲染。此外，相对容易修改原始的GS方法以实现编辑（Guédon和Lepetit，2024年；Huang和Yu，2024年；Waczyńska等人，2024b年）以及创建动态场景（Huang等人，2024c年；Kratimenos等人，2024年；Waczyńska等人，2024a年）。

同时，GS框架面临的最大挑战之一是将物理特性整合到使用3D高斯分量表示的场景中。现有模型采用了额外的网格划分技术，包括三角形或四面体网格划分（Feng等人，2024年）、行进立方体算法（Guédon和Lepetit，2024年）或笼型网格（Jiang等人，2024年）。这种方法生成了基于网格的经典表示，然后由物理引擎控制。因此，高斯分量会根据基于网格的修改进行调整。尽管这些方法产生了令人满意的渲染效果，但它们需要实现额外的网格划分和渲染策略。从3DGS中提取网格仍然是活跃的研究课题，有诸如SuGaR或2DGS（Huang等人，2024a年）等有前景的方法。然而，为任意对象或场景获取平滑、高质量的网格仍然是一项具有挑战性的任务，且可能会出现影响模拟的伪影，例如网格间隙。

另一种方法是PhysGaussian（Xie等人，2024年），它利用传统的GS方法并调整牛顿动力学以适应3D高斯分量。PhysGaussian采用变形图的一阶近似，通过线性变换在局部近似动力学。这种解决方案是有效的，但它依赖于物理引擎的访问才能应用修改，并且依赖于网络近似。因此，这种方法不适用于Blender等流行的3D图形软件。

为了解决这些限制，我们提出了基于物理的模拟的高斯散布算法（GASP）流程（见图1），该流程将平面高斯分布（Waczyńska等人，2024a年；Waczyńska等人，2024b年）与黑盒物理引擎结合使用，无需对基于GS的模型进行特殊修改，使其比其他方法更加灵活。在这项工作中，我们展示了使用Genesis（Authors，2024年）软件和Taichi Elements库创建的模拟（见图2）。据我们所知，这是首次将基于GS的模型与Genesis引擎集成。我们还展示了简单的改进措施，例如实现高斯层次结构，可以无缝集成到我们的方法中，显著加速模拟过程。

通过修改高斯的缩放分量，可以使平面高斯分布平滑地应用于GS中，使其在一个轴上的值为零。这种GS的表示方式便于参数化，并且可以轻松转换为与传统3D图形软件兼容的面。这些技术之前已在几种方法中使用过（Guédon和Lepetit，2024年；Huang等人，2024a年；Waczyńska等人，2024b年）。平面高斯产生的训练和渲染时间以及渲染质量与GS相当。GASP方法展示了在GaMeS框架内实现牛顿动力学的能力，从而说明了无需对外部物理引擎或高斯分量进行修改即可集成这些方法。更准确地说，该模型从GS中提取点，并应用材料点方法来控制这些点。在模拟过程中，与每三个点相关的高斯分量会重新计算。这一过程非常快速，不会增加渲染成本。然而，将每个点视为离散实体会导致伪影的出现。因此，我们提出了一种简单的修改方法，使用三角形而不是完全不同的点。当三角形的大小发生显著变化时，我们会进行额外的重新缩放。实际上，GASP可以在平面GS中生成高质量的模拟，包括静态和动态场景以及对象之间的交互，见图1。这一点通过在合成和真实世界数据集上进行的一系列实验得到了验证。

我们的主要贡献如下：

• 1.
  我们提出了GASP流程，该流程使用基于GS的模型将物理属性整合到3D场景表示中，适用于静态和动态场景。
• 2.
  GASP直接在特定点上操作，从而避免了修改被视为黑盒的物理引擎的必要性。
• 3.
  GASP不采用额外的网格划分策略。我们证明，应用额外的高斯控制规则可以有效消除伪影，同时利用层次结构显著加速模拟。

相关工作

3D场景的GS表示适用于编辑（Guédon和Lepetit，2024年；Waczyńska等人，2024b年）和建模动态场景（Huang等人，2024c年；Wu等人，2024年；Waczyńska等人，2024a年）。然而，将其与物理引擎集成仍然是一个具有挑战性的任务，且研究不足。

人们还投入了大量努力来改进高斯的几何表示，以实现高质量的表面重建。2DGS（Huang等人，2024a年）

GASP流程概述

在这里，我们介绍了GASP流程的描述（见图3）。它从一般的GS模型开始，接着分析了GaMeS（Waczyńska等人，2024b年）对原始GS模型所做的修改，这使得调整变得简单。随后概述了经典的MPM（Hu等人，2018年），最后详细介绍了我们结合GS和MPM的方法。为了提高视觉和时间质量，我们还提出了两种策略。

实验

本实验部分表明，GASP是一种通用方法，可以应用于小对象和大型场景。此外，它还允许对对象之间的交互进行建模，并将它们分解成碎片。GASP也能够处理动态场景。

结论

在本文中，我们介绍了GASP，这是一种将高质量渲染与精确的物理模拟相结合的流程。使用基于GaMeS的对象表示方法，我们的方法能够模拟基本现象（如挤压）以及更复杂的场景（包括裂纹）。这证明了该模型在处理模拟环境中的各种物理交互方面的多功能性和有效性。进行的实验表明，GASP在许多不同的场景中都能发挥作用。

CRediT作者贡献声明

Piotr Borycki：撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、软件、资源、方法论、研究、资金获取、形式分析、数据管理、概念化。Weronika Smolak-Dy?ewska：撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、软件、资源、方法论、研究、形式分析、数据管理、概念化。Joanna Waczyńska：撰写 – 审稿与编辑、撰写 – 原稿

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

致谢

项目“在增强现实环境中使用高斯散布算法有效渲染3D对象”（FENG.02.02-IP.05-0114/23）是在波兰科学基金会的First Team计划下进行的，该项目得到了欧盟在2021–2027年欧洲智能经济基金（FENG）下的共同资助。P. Spurek的工作得到了波兰国家科学中心的支持，资助编号为2021/43/B/ST6/01456。