TransMark：通过神经元排列不变性实现大型语言模型（LLMs）的无损高容量水印技术

《Computer Standards & Interfaces》：TransMark: Lossless high-capacity watermarking for LLMs via neuron permutation invariances

　　

叶培根|陈卓荣|桑海伟|郑军

• •
  我们提出了TransMark，这是一个针对大型语言模型的无损水印框架，它可以在不修改模型参数或无需额外训练的情况下嵌入高容量的水印。
• •
  我们利用了Transformer中前馈层的排列不变性，通过重新排列神经元来实现水印嵌入，同时保持模型的功能。
• •
  我们设计了三种神经元选择策略（基于范数、基于敏感度和基于梯度的策略），以平衡水印容量和提取的可靠性。
• •
  我们整合了基于汉明编码的错误校正机制，以提高模型对量化、噪声注入和微调等常见攻击的鲁棒性。
• •
  广泛的实验表明，TransMark在各种攻击场景下都能保持高水印提取精度，且性能不会下降。