SeCuRe：利用高斯散布算法实现稀疏视图3D曲线重建

《Computers & Graphics》：SeCuRe: Toward sparse-view 3D curve reconstruction with Gaussian Splatting

3D曲线重建在稀疏视图下面临初始化困难、过拟合和边缘区域不显著的问题，本文提出SeCuRe框架通过边缘引导的Gaussian初始化、结构感知的Gaussian剪枝和稀疏损失优化，显著提升3DGS方法在极稀疏视图下的重建精度。

　　

田峰|董浩杰|季金康|沈俊敖|范飞逸

浙江大学软件技术学院，杭州，310027，中国

摘要

3D曲线重建为各种视觉和图形应用提供了重要的几何线索。尽管最近在3D高斯散布（3DGS）方面的进展使得曲线重建变得高效且质量较高，但现有方法通常需要密集的多视图输入才能获得可靠的结果。在视图稀疏的情况下，这些方法常常会遇到初始化不准确、过拟合以及边缘区域信息不足的问题，从而导致重建结果不完整或噪声较大。在本文中，我们提出了SeCuRe，这是一个用于稀疏视图3D曲线重建的辅助框架，它结合了3DGS技术。我们的SeCuRe引入了一种基于边缘引导的高斯初始化（EGGI）策略，该策略通过利用外部密集重建和边缘检测模型从稀疏输入中提取出稳健的几何先验。此外，它还采用了结构感知的高斯剪枝（SAGP）策略，通过空间一致性和可见性约束来抑制过拟合。我们还提出了一种稀疏性损失函数，通过对冗余或分散的高斯原语进行惩罚来鼓励生成紧凑且干净的曲线。在ABC-NEF和DTU数据集上的广泛实验表明，将SeCuRe与基于3DGS的方法结合使用可以在极端稀疏视图条件下显著提升重建性能，分别在精确度、召回率和F分数上提高了0.3719、0.4405和0.4345。

引言

曲线是描述3D物体和场景结构的关键几何线索[1]、[2]。它们能够高效地编码结构信息，同时与计算机辅助设计（CAD）系统兼容[3]。这使得它们能够应用于各种视觉和图形领域，包括表面重建[4]、渲染[5]以及同时定位与映射（SLAM）[6]。3D曲线主要使用标准参数模型（如贝塞尔曲线）来表示，这些模型可以对几何轮廓进行数学上的严格控制[7]。虽然传统的参数曲线在手动建模方面表现出色，但由于其严格的拓扑约束，当从稀疏的2D观测数据通过可微分渲染方法重建时，它们会遇到较大的挑战。为了克服这一根本性问题，最近的重建流程转向了灵活、非结构化的表示方式，以便能够以数据驱动的方式进行优化。

受到新型视图合成（NVS）[8]、[9]领域显著发展的启发，最近的研究尝试使用边缘检测模型从多视图边缘图中重建3D曲线。特别是神经隐式场（Neural Implicit Fields）在3D曲线重建方面展现出了巨大的潜力[10]、[11]。然而，即使在简单的CAD模型上，这些方法在训练过程中仍然会消耗大量的计算资源[12]。为了解决这个问题，后续的研究[13]、[14]、[15]采用了3D高斯散布（3DGS）[9]技术，该技术支持高保真度和实时渲染，从而实现了高质量的曲线重建。

然而，这些基于3DGS的方法的性能依赖于捕捉良好的密集多视图图像，而在实际应用中这往往既繁琐又不切实际[16]。具体来说，稀疏视图作为输入可能导致场景结构的许多部分被错误地学习到。这会导致无法重建连续且完整的曲线，如图1所示。尽管已经有一些基于3DGS的方法被提出用于稀疏视图NVS[17]、[18]，但它们将先验作为深度和语义信息整合的策略很难直接应用于3D曲线重建。这是因为边缘区域本身具有较弱的外观线索、模糊的几何先验以及跨视图的语义一致性有限。因此，对于NVS有效的正则化技术[8]往往无法为曲线提供足够的约束。

我们在从稀疏多视图图像重建3D曲线时发现了以下挑战：

• •
  初始化依赖性。 在稀疏视图场景中，可靠的重建依赖于强健的几何先验来进行初始化[19]、[20]。然而，有限的输入图像提供的约束不足，常常导致重建结果出现噪声、不完整或碎片化。因此，基于3DGS的方法难以恢复准确且连续的曲线。
• •
  稀疏视图过拟合。 由于多视图图像有限，优化过程容易发生过拟合[21]。这个问题在3D曲线重建中尤为明显。具体来说，边缘区域的外观线索较弱，这会促使方法选择捷径而不是学习真实的几何对应关系。
• •
  边缘区域信息不足。 在大多数情况下，边缘区域占图像像素的比例远小于表面区域，导致高斯优化的焦点偏离了边缘。这种现象对曲线重建的质量和收敛行为都有负面影响。

为了解决上述挑战，我们提出了SeCuRe，这是一个可以与现有基于3DGS的方法结合使用的辅助框架，用于稀疏视图3D曲线重建。通过引入特定的高斯初始化和剪枝策略，它能够在极有限的输入视图条件下重建结构合理且几何精确的曲线。具体来说，我们设计了一种基于边缘引导的高斯初始化（EGGI）策略，利用密集生成[22]和边缘检测[23]模型从稀疏视图图像中提取出密集且可靠的边缘点云作为几何先验。与现有方法相比，它能更有效地捕捉连续的边缘。同时，我们设计了结构感知的高斯剪枝（SAGP）策略来减轻由稀疏输入引起的过拟合，并通过空间一致性和可见性约束来加强几何约束。这使得高斯优化过程能够专注于学习边缘上的真实几何对应关系，从而减少伪影。此外，我们还提出了一个稀疏性损失函数，通过对冗余或分散的高斯原语进行惩罚来鼓励生成紧凑且干净的曲线，进一步提高了重建质量并加速了收敛速度。在代表性数据集上的实验结果表明，我们的SeCuRe与基于3DGS的方法结合使用，在极端稀疏视图条件下能够一致性地提升重建性能。本文的贡献可以总结如下：

• 我们提出了一个新颖的辅助框架，使基于3DGS的3D曲线重建方法在稀疏视图条件下表现出更好的性能。
• 我们设计了一种基于边缘的策略，利用密集重建和边缘检测模型从稀疏视图中提取几何先验用于高斯初始化。
• 我们设计了一种结构感知策略，通过空间一致性和可见性约束来减轻过拟合并加强几何约束。

章节片段

从多视图图像重建3D曲线

与依赖干净3D点云进行曲线拟合的传统3D曲线重建方法[24]、[25]相比，基于多视图图像[26]、[27]的方法利用结构从运动（SfM）[28]技术来表示边缘，然后在不同视点之间进行匹配并三角化成3D曲线。然而，这些方法面临一个重大挑战：由于稀疏多视图图像的观测不足，边缘可能无法被完整地表示甚至完全缺失。

3D高斯散布

3DGS[9]作为一种新兴的NVS方法，实现了前所未有的真实感质量和实时渲染性能的结合。与NeRF[8]的隐式神经表示不同，3DGS使用一组图像和相应的相机（通过SfM流程校准）来建模场景，从而实现显式的3D高斯原语表示[28]。这种显式表示便于直接操作并支持高效渲染。

实验

我们通过使用2视图、3视图和4视图图像作为输入进行了实验评估，这些图像代表了极端稀疏的视图条件。我们的实验与几种先进的3D曲线重建方法进行了对比，包括EMAP[11]、EdgeGaussians[13]、SGCR[14]和CurveGaussian[15]。其中，EMAP是一种隐式神经表示方法，而其他方法都是基于3DGS的显式方法，可以与我们的SeCuRe无缝集成。

结论

在本文中，我们提出了SeCuRe，这是一个用于稀疏视图3D曲线重建的辅助框架，结合了3DGS技术。为了解决稀疏输入视图带来的关键挑战，SeCuRe包含了三个关键组件：基于边缘引导的高斯初始化（EGGI）策略、结构感知的高斯剪枝（SAGP）策略以及稀疏性损失函数。这些组件协同工作，以提高几何保真度、减少伪影，并同时确保空间一致性和可见性。

作者贡献声明

田峰：撰写——审稿与编辑、撰写——初稿、可视化、监督、资源管理、项目管理、方法论、研究调查、资金获取、形式分析、概念化。董浩杰：撰写——初稿、可视化、验证、软件开发、方法论、形式分析、数据管理。季金康：撰写——审稿与编辑、撰写——初稿、可视化、软件开发、项目管理、方法论、研究调查、数据管理。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能会影响本文所述的工作。

致谢

本研究部分得到了国家自然科学基金（项目编号：62202421和U23A20311）的支持；部分得到了浙江省自然科学基金（项目编号：LTGS23F020001）的支持；部分得到了中央高校基本科研业务费的支持；以及部分得到了宁波市引进人才计划（项目编号：2021A-157-G）的支持。