分层贝叶斯引导的空间、角度和时间一致性视图合成

《IEEE Transactions on Visualization and Computer Graphics》：Hierarchical Bayesian Guided Spatial-, Angular- and Temporal-Consistent View Synthesis

动态场景中神经辐射场（NeRF）的实时高精度重建方法，提出分层细化策略 Scale-NeRF，通过多尺度帧迭代优化，结合贝叶斯理论确保时空一致性，实验验证其在虚拟现实等领域的性能优势。

　　

摘要：

神经辐射场（NeRF）因其精确的重建能力和快速的推理速度而受到了广泛关注，这使它们在虚拟现实和游戏应用中具有巨大潜力。然而，将NeRF的能力扩展到动态场景方面仍缺乏探索，尤其是在确保空间、时间和视角上的重建一致性和连贯性方面。为了解决这一挑战，我们提出了Scale-NeRF，这是一种新颖的方法，它将动态NeRF的训练组织为一个渐进的、基于尺度的细化过程，并基于分层贝叶斯理论。Scale-NeRF首先使用粗糙的大尺度帧来重建辐射场，然后通过逐渐减小尺度的帧进行迭代细化。这种分层策略，结合相应的采样方法和新引入的结构损失，确保了整个重建过程的一致性和完整性。在公共数据集上的实验验证了Scale-NeRF相较于传统方法的优越性，特别是在评估空间、角度和时间一致性方面的指标上。此外，Scale-NeRF在实时渲染方面表现出出色的动态重建能力，为需要高保真度和实时性能的应用提供了重要进展。

引言

动态辐射场[1][2]描述了4D动态世界中光线的颜色[c]和密度[σ]。利用这些动态辐射场，可以从任何时间和视角渲染出逼真的图像，从而实现沉浸式的AR/VR/MR内容的创建和编辑。最近在神经渲染方面的进展[3]，即使用多层感知器（MLP）[1]神经网络来表示辐射场，与传统方法（如基于深度的渲染[4]和基于光场的方法[5][6]）相比，在渲染质量和采样复杂性/便利性方面显示出显著优势。