MSGS：用于镜面反射的多空间高斯分割算法

《Computers & Graphics》：MSGS: Multi-space Gaussian Splatting for mirror reflections

多视角一致性优化与各向异性特征建模提升复杂反射场景的3D高斯溅射合成质量

　　

Zhankong Bao|Jiayi Xu|Xuanxuan Huang|Masahiro Toyoura|Gefei Xie|Qianhong Xiang|Huaming Lin

杭州电子科技大学计算机科学学院，中国杭州，310018

摘要

神经辐射场（NeRF）和3D高斯散布（3DGS）在3D重建和新型视图合成方面取得了突破性进展，已成为计算机视觉领域的重要研究方向。虽然3DGS的重建质量与NeRF相当，但其渲染效率提高了几个数量级，使得实时应用（如快速产品原型设计、无人机自主导航和全景虚拟漫游）中的3D重建成为可能。现有方法大多基于输入图像满足多视图一致性的假设。然而，在处理具有复杂镜面反射的场景时，3DGS无法区分真实表面和镜中的虚拟投影，导致几何重建矛盾和渲染瑕疵。为了解决新型视图合成任务中由镜面反射引起的多视图不一致性问题，我们提出了一种多空间高斯散布（MSGS）框架。首先，将场景分解为多个满足多视图一致性的子空间；然后使用各向异性特征而不是球谐系数来表示子空间特征，以有效建模高频可见性；最后，将每个子空间的特征图解码为RGB图像及其对应的权重掩码，并通过加权聚合合并成输出图像。实验表明，我们的方法在渲染速度和图像质量之间取得了最佳平衡，能够在具有复杂反射的环境中实现高保真度重建。

引言

从多视图图像生成新型视图和进行3D重建是计算机视觉中的一个基本挑战，该技术在3D内容创作[1]、[2]、虚拟现实[3] [4]和电影制作[5]等领域有广泛应用。神经辐射场（NeRF）[6]通过神经网络隐式表示3D场景，实现了高质量重建，并通过多视图一致性优化达到了逼真的新型视图合成效果。最近，3D高斯散布（3DGS）[7]作为一种显式的场景表示方法出现，结合高效的可微分光栅化[8]，能够在保持视觉保真度的同时实现实时渲染。然而，这些方法在处理具有镜面反射的表面时面临重大挑战，因为固有的多视图不一致性会导致深度估计错误和几何结构重建问题。

由于镜面反射，在从非真实物体生成的虚拟图像中存在多视图不一致性问题。从正面视角观察时，这些虚拟物体似乎位于镜面后面，但从侧面或背面观察时则消失，从而导致几何先验矛盾和重建瑕疵。研究人员提出了多种优化策略来应对这些问题。最新的基于NeRF的方法MSNeRF[9]采用场景分解范式，将物理场景与虚拟反射分离为多个满足多视图一致性的子空间。尽管基于NeRF的方法[14]、[15]能够在反射环境中实现高保真度重建，但由于需要对整个体积进行密集的空间采样，因此计算效率低下，需要大量的计算时间和内存资源，这限制了它们在需要实时推理或轻量级部署的场景中的应用。

基于3DGS[7]的方法在训练和推理速度方面具有显著优势，但仍受多视图一致性的限制。Spec-Gaussian[13]通过球谐系数编码的颜色信息来增强3D高斯表示高频变化的能力，但仍受镜面反射的视图依赖性可见性的限制，因此无法正确收敛。MirrorGaussian[16]和Mirror3DGS[17]引入了对镜面区域的监督，使用相机坐标变换和镜面掩码分别渲染无镜面反射的场景和反射内的虚拟相机观测结果，然后将其合成完整图像。这些方法在简单单反射场景中实现了有希望的重建效果。然而，在存在多个镜面反射的场景中，这些方法无法唯一确定一个一致的反射平面，导致重建结果错误。

为了解决多视图观测中由镜面反射引起的不一致性问题，本文提出了一种多空间高斯散布（MSGS）方法，该方法将场景分解为具有固有多视图一致性的可学习子空间。为了更好地捕捉各子空间中高频率可见性的变化，用各向异性特征替换了3D高斯的球谐系数。然后生成代表每个子空间场景信息和权重掩码的子空间特定图像。掩码指示了最终合成图像中每个子空间输出图像的像素权重。为了在保持子空间内部连续性的同时增强子空间权重的独立性，引入了一种新的权重优化损失函数进行训练正则化。如图1所示，实验结果表明，在具有挑战性的反射条件下，与其他基于3DGS的方法相比，我们的方法在新型视图合成方面取得了显著的质量提升，尽管仍略低于最新的MSNeRF[9]，但重建质量已接近该基准。本文的主要贡献包括：

• 我们提出了一种多空间高斯表示方法，将整个空间分解为多个满足多视图一致性的子空间，从而成功克服了复杂反射场景下的多视图一致性难题。
• 我们提出了一种各向异性特征表达方式，用于替换高斯的球谐系数，从而精确建模反射区域的高频变化。
• 为了实现高质量的新型视图图像合成，我们引入了权重重叠损失函数，以控制单个像素属于每个子空间的概率，有效减轻了多空间表示重叠引起的模糊现象。

相关工作

神经辐射场（NeRF）[6]和3D高斯散布（3DGS）[7]是新型视图合成领域中最基础和最受欢迎的研究成果，它们各自具有独特的3D空间表示方法和可微分渲染流程，使机器学习在该领域得到应用，并为新型视图合成和整个3D重建领域带来了新的活力。

方法

为了解决新型视图合成任务中由镜面反射产生的虚拟对象视图不一致性问题，本文提出了一种基于各向异性特征表示的多空间高斯散布解决方案。通过将整个场景分解为多个具有独立多视图一致性的子空间，实现了反射区域内的高真实感和细节保留。

如图2所示，所提出的框架主要由三个部分组成。

实验

为了评估所提出方法的有效性，我们在两个公共数据集上进行了实验：从ms-nerf-dataset[9]中选择了6个合成场景（Scene04、Scene06、Scene08、Scene11、Scene16和Scene25，图像尺寸为800 × 800）和4个真实世界场景（Scan01-Scan04，图像尺寸缩放为750 × 500）；从mirror-nerf-dataset[15]中选择了2个真实世界场景（Market和Lounge，图像尺寸缩放为960 × 720）。每个场景包含50-100个训练样本。

子空间划分研究

从图5可以看出，仅依赖增强的各向异性高斯特征表达式来获取可见性信息无法有效去除浮动瑕疵和重影。通过引入多空间表示方法，可以重建出具有复杂反射场景的高质量图像。然而，选择合适的子空间数量仍然是一个挑战。过多的子空间数量会导致计算成本增加，影响实时性。

结论与未来工作

本文提出了一种基于各向异性特征的多空间高斯散布框架，用于具有复杂多反射的场景构建。通过将复杂反射场景分解为多个子空间，实现了跨视图的一致性。将各向异性特征表示与显式高斯表示相结合，在多反射条件下显著提高了新型视图合成的视觉质量，同时保持了实时渲染效率。

CRediT作者贡献声明

Zhankong Bao：撰写——原始草案。Jiayi Xu：撰写——审阅与编辑，监督。Xuanxuan Huang：资金获取。Masahiro Toyoura：监督。Gefei Xie：资金获取。Qianhong Xiang：资金获取。Huaming Lin：资金获取。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Jiayi Xu报告称获得了浙江省自然科学基金项目（项目编号LZJMZ23D050006）的财务支持。Xuanxuan Huang报告称获得了浙江省自然科学基金项目（项目编号LZJMZ23D050006）的财务支持。如果有其他作者，他们声明没有已知的财务冲突。

致谢

本工作得到了浙江省自然科学基金项目（项目编号LZJMZ23D050006）的支持。