VoMarkSplat：一种基于补丁和多卷积投票机制的鲁棒水印技术，适用于3D高斯散射算法

《Pattern Recognition Letters》：VoMarkSplat: Robust Watermarking for 3D Gaussian Splatting with Patch and Multi-Convolutional Voting

3D高斯splatting的版权保护方法，提出基于多数投票的框架VoMarkSplat，通过空间块和多层卷积生成冗余证据，结合两阶段课程学习提升鲁棒性和视觉质量，实验显示抗攻击能力提升至96.29%并保持高保真。

　　

熊天宇|李林杰|李瑞|杨佳琪|张彦宁

中国山西省西安市长安区东乡路西北工业大学计算机科学系，邮编710129

摘要

3D高保真内容创建中3D高斯散射（3DGS）的兴起迫切需要强大的版权保护方法。尽管现有技术可以嵌入不可见的水印，但其提取过程通常依赖于对渲染图像的单一整体分析，这使它们容易受到常见的图像失真和局部攻击的影响。为了解决这个问题，我们提出了VoMarkSplat，这是一种新的水印框架，它采用了多数投票范式来实现强大的水印提取。我们的框架提出了两种投票方案：一种是基于补丁的方法，利用空间冗余来抵御局部攻击；另一种是多卷积方法，通过使用多种空间滤波器利用不同频率带的冗余，从而对全局失真具有抵抗力。为了最大化这些方案的有效性，我们进一步引入了两阶段课程训练策略。该方法首先通过简单示例的自定进度热身来稳定学习，然后将模型集中在最具挑战性的案例上，以最大化视觉保真度和信息准确性。广泛的实验表明，VoMarkSplat树立了新的行业标准，提高了对各种攻击的抵抗力——例如，在联合攻击下的准确率从93.38%提高到96.29%——同时实现了最高的比特精度（48位信息的精度为99.90%）和卓越的视觉保真度（16位信息的PSNR超过47分贝）。

引言

3D表示是计算机视觉和图形学中的前沿技术，在电影制作、游戏开发和虚拟现实等多个领域发挥着重要作用。[1]该领域最有前景的方法之一是3DGS[2]，它以其高保真度和实时渲染速度[3]、[4]、[5]彻底改变了3D内容创建。然而，随着高价值的3DGS资产变得越来越容易获取，未经授权使用的风险对创作者构成了重大威胁。这就提出了一个紧迫的问题：我们如何设计一种专门针对3DGS的强大版权保护方法？一种有效的策略是直接将秘密信息（即水印）嵌入3DGS模型中。一个成功的水印框架必须是安全的、不可见的，并且支持足够的信息容量。至关重要的是，它还必须具有鲁棒性：即使在渲染图像经历了压缩、噪声或裁剪等常见失真后，信息也必须能够被准确提取。

像GuardSplat[6]这样的最新方法在效率和容量方面取得了显著进展，特别是通过使用预训练的CLIP引导解码器[7]。然而，这些方法有一个根本的弱点：它们将渲染图像视为一个单一的整体证据。它们的鲁棒性主要依赖于使用数据增强来训练单一解码器。在推理时，它们仍然对整个图像进行整体分析。这种对单一提取路径的依赖在面临挑战性攻击时成为了一个弱点；如果关键的全局特征被破坏，整个解码过程可能会失败，因为没有机制可以从图像中未受影响的部分形成共识。

我们工作的核心见解是，一个带有水印的图像不仅仅是一个证据，而是一系列冗余证据的集合。水印信号不是孤立于一个点，而是分布在整个图像中——在不同的空间区域和不同的频率带上。基于这一见解，我们将水印提取从一个脆弱的解码任务重新定义为一个强大的共识问题。我们不是依赖一个“专家”的意见，而是询问：我们能否从同一图像中收集多个独立的“证人”的意见，并使用他们的集体共识来确定真实的信息？

在本文中，我们介绍了VoMarkSplat，这是一个通过多数投票范式实现这一原则的新框架，如图1所示。我们从单个渲染视图生成多个独立的“投票”，并通过共识来确定最终信息，有效地过滤掉由局部或全局失真引起的错误。我们提出了两种互补的方案来生成这些投票。第一种方案是空间投票，它将图像划分为一个补丁网格，每个补丁作为一个独立的证人，从而对裁剪或遮挡等局部攻击具有抵抗力。第二种是多卷积投票，它使用一组多样的卷积滤波器（例如，作为低通和高通滤波器）处理图像。由于不同的图像失真（如模糊或噪声）会破坏特定的频率带，每个过滤后的版本都提供了一个光谱上不同的“投票”，从而对这些攻击具有抵抗力。

为了确保水印足够强大，能够被这种共识过程检测到，我们进一步引入了两阶段课程（TSC）训练策略。该课程首先通过训练简单示例来建立稳定的基础，然后再专注于最困难的案例。这迫使模型学习一种在最具有挑战性的视图和最困难的条件下仍然稳健存在的嵌入。正如我们的实验所证明的，这种方法树立了新的行业标准。VoMarkSplat实现了48位信息的99.90%比特精度，将视觉保真度提高到超过47 dB PSNR，并且最重要的是，将对抗联合攻击的抵抗力从93.38%显著提高到了96.29%。

总结来说，我们的主要贡献包括：

•

我们提出了一种强大的水印范式，它从单个渲染图像中的多个证据中构建共识，超越了对单一整体分析的依赖。

•

我们介绍了VoMarkSplat，这是一个具有两种新颖投票方案的框架：一种基于空间补丁以实现局部鲁棒性，另一种使用多尺度卷积以实现光谱鲁棒性。为此，我们还提出了一种有效的TSC训练策略。

•

我们的方法树立了新的行业标准，在比特精度、视觉保真度以及对各种攻击的抵抗力方面显著优于现有工作。

相关研究

相关工作

3D表示。3D场景表示领域由于神经辐射场（NeRF）[8]的发展而取得了显著进步，NeRF使用多层感知器（MLP）从图像中学习场景的隐式函数。在体积渲染[9]和alpha合成[10]的基础上，NeRF激发了大量针对稀疏视图重建[11]、[12]、加速[13]、生成建模[14]和文本到3D合成[15]、[16]的工作。最近，3DGS[2]作为一个

预备知识

我们的工作基于3DGS进行场景表示，并采用了CLIP引导的水印策略。

方法

在GuardSplat的基础上，VoMarkSplat引入了一种以多数投票共识为中心的强大水印提取新范式。虽然我们采用了预训练的CLIP引导解码器和SH感知信息嵌入的核心概念，但我们提出了两种新的投票方案来提高对失真的抵抗力。此外，我们通过两阶段课程学习来增强优化过程，以训练出更强的鲁棒性和保真度。我们的框架概述如下

实验

我们进行了一系列实验来验证我们提出框架的有效性。我们的评估旨在回答三个关键问题：（1）VoMarkSplat在信息容量、视觉保真度和抵抗力方面与现有最先进方法的性能如何？（2）我们提出的组件（投票方案和课程学习策略）各自的贡献是什么？（3）我们的多卷积投票方案的最佳配置是什么？

结论

在本文中，我们介绍了VoMarkSplat，这是一种针对3DGS的新水印框架，解决了提取抵抗力的关键挑战。我们的核心贡献是从单一整体分析转向多数投票范式。通过从多个证据中构建共识——无论是来自空间补丁以对抗局部攻击，还是来自多尺度卷积以处理全局失真——我们的方法能够从损坏的视图中稳健地恢复水印。

CRediT作者贡献声明

熊天宇：撰写——原始草稿、可视化、验证、软件、项目管理、方法论、调查、形式分析、数据管理、概念化。李林杰：撰写——审阅与编辑。李瑞：撰写——审阅与编辑、监督。杨佳琪：撰写——审阅与编辑、监督。张彦宁：撰写——审阅与编辑、监督。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

这项工作部分得到了中国国家自然科学基金（编号62372377）的支持