通过挖掘单步重建差异实现通用化的面部伪造检测

《Pattern Recognition》：Generalizable Face Forgery Detection via Mining Single-Step Reconstruction Difference

基于单步重建差异的面伪造检测框架通过分析原始与单步重建特征差异，结合深度可分离卷积和注意力机制增强伪造特征的可分性，并引入基于频域约束的对比损失提升模型对未知伪造类型的泛化能力。

　　

Kai Zhou|Guanglu Sun|Linsen Yu|Jun Wang

哈尔滨工业大学计算机科学与技术学院，中国哈尔滨，150080

摘要

现有的面部伪造检测方法主要关注捕捉特定的伪造特征。虽然在相同数据集上能够达到较高的准确率，但由于学习到的特征表示与训练集之间存在强相关性，这些方法往往难以泛化到未见过的伪造技术。为了缓解这种强相关性并实现更通用的特征表示，我们提出了一种基于单步重建差异（SRD）的新型面部伪造检测框架。我们的方法通过挖掘真实面部和伪造面部单步重建特征之间的差异来探索更通用的特征。具体来说，我们设计了一个特征增强模块，该模块处理并细化单步重建差异，并通过注意力机制逐步将伪造相关的线索整合到神经网络的特征中。此外，我们还设计了一种频率约束对比损失（FCC Loss），利用频域信息对比真实面部和伪造面部以学习具有区分性和鲁棒性的特征。实验结果表明，所提出的方法不仅在不同的数据集上表现出优异的泛化性能，而且在面对各种图像攻击时也表现出很强的鲁棒性。我们的代码发布在：https://github.com/zhouk369/SRD。

引言

深度伪造技术的快速发展产生了越来越逼真的面部伪造图像，这对人类的视觉辨别能力构成了挑战。此类伪造行为可能被恶意用于金融欺诈、政治虚假信息传播和其他非法活动，从而对信息安全和社会稳定构成重大威胁。因此，开发有效的面部伪造检测算法已成为一项关键的研究重点[1]。

近年来，深度学习的显著进步使研究人员能够提取丰富的面部伪造检测特征。现有方法[2]、[3]将检测问题表述为二分类任务，使用预训练的CNN架构来提取空间特征（例如视觉伪迹[4]）。尽管这些方法在相同数据集上的训练数据上表现良好，但当面对未见过的伪造技术或跨域场景时，它们的性能会严重下降。这种对学习到的特征表示与训练数据之间强相关性的依赖限制了模型捕获通用特征的能力，从而严重限制了其在现实世界中的应用和泛化能力。

为了提高模型的泛化能力，学习通用的特征表示至关重要[5]。研究人员[6]、[7]已经证明，图像重建是一种有效的检测策略，因为它可以通过重建学习提取通用特征。例如，RECCE[6]使用仅在真实面部上训练的重建网络，使模型能够辨别真实面部和伪造面部之间的分布差异。然而，这种重建方法通过多次上采样操作将图像恢复到原始大小，这未能充分考虑这些操作对频域特性的影响。每次上采样操作都会插值缺失的高频成分，多次上采样的累积效应会放大人为的高频残差。先前的研究[8]、[9]表明，伪造图像中的上采样会在频域留下明显的痕迹，这些痕迹是验证真实性的关键线索。因此，在重建过程中进行多次上采样可能会无意中将类似伪造的频域伪迹引入原本真实的图像中。这些人为伪迹会混淆内在的篡改线索，从而影响模型学习真实数据分布特征的能力。如图1所示，我们使用RECCE框架在两次或三次下采样和上采样后可视化了像素域中的重建差异。从两次迭代到三次迭代，真实面部和Deepfakes（FaceForensics++ [2]中的一种伪造类型）图像之间的差异变得不那么明显。基于这一观察，我们认为减少上采样操作的数量可以在减轻引入频域伪迹风险的同时更好地保留区分性特征。

在本文中，我们提出了一种基于单步重建差异（SRD）的面部伪造检测方法，该方法有效挖掘重建差异以捕捉通用的伪造特征。核心思想是减少重建迭代次数，以最小化其对原始频域特性的影响，同时保持真实面部和伪造面部在频域中的可区分性。我们的方法生成与前一网络层相同规模的特征，并通过比较重建前后的特征来计算空间特征重建差异。此外，我们基于重建差异设计了一个特征增强模块，逐步增强篡改线索的表示，使模型能够更好地识别常见的伪造模式。除了用于分类的交叉熵损失外，我们还引入了一种基于频域信息的对比损失函数。这种频率约束对比损失（FCC Loss）鼓励真实图像特征在特征空间中形成紧密的簇，同时增加真实面部和伪造面部特征之间的分离。这种设计增强了模型检测伪造面部的能力，即使是对之前未见过的伪造类型也是如此。本文的贡献如下：

• •
  我们提出了一种名为SRD-Net的面部伪造检测框架，该框架基于单步重建差异。该框架通过对空间特征进行单步重建来提取重建差异，并将其作为面部伪造检测的关键特征。
• •
  我们设计了一个特征重建差异增强（FRDE）模块。该模块利用深度注意力机制，在网络的每个阶段挖掘单步重建差异的潜在价值，并逐步增强特征表示，使模型能够有效捕捉伪造特征的通用特征。
• •
  为了进一步提高模型检测未知伪造模式的泛化性能，我们提出了一种频率约束对比损失（FCC Loss）。这种损失函数在特征空间中将相似标记的特征聚类在一起，同时增加不同标签特征之间的分离。
• •
  广泛的实验结果表明，我们提出的SRD-Net在泛化和鲁棒性方面都取得了令人满意的性能。

本文的其余部分结构如下：第2节回顾相关工作。然后，我们在第3节描述了带有特征重建差异增强模块和频率约束对比损失的方法。第4节展示了我们的实验并讨论了实验结果。最后，我们在第5节总结了工作。

部分摘录

面部伪造检测

面部伪造技术对隐私和社会稳定构成了日益严重的威胁，促使研究人员开发更有效的检测算法。早期的检测方法主要关注识别由面部操作引起的视觉伪迹，如面部细节或纹理的不一致性[4]。然而，随着深度学习的快速发展，面部伪造技术变得越来越复杂，产生的伪造面部图像看起来非常逼真。

概述

在本节中，我们介绍了基于单步重建差异的SRD-Net面部伪造检测框架。该框架旨在通过挖掘真实面部和伪造面部在特征空间中的分布差异来捕获更通用的特征表示。这种方法显著提高了模型对不同伪造技术的泛化能力。如图2所示，所提出的面部伪造检测方法包括两个核心组件：FRDE和FCC Loss

实验与结果

本节将我们的方法与多个数据集上的最先进方法进行了对比评估。我们在FaceForensics++上进行已知数据集实验，在Celeb-DF（V1）、Celeb-DF（V2）和Deepfake Detection Challenge上进行未见数据集实验。此外，我们还进行了鲁棒性实验、消融研究和可视化分析，以全面验证该方法的性能。

结论

具有泛化能力的面部伪造检测已成为图像取证中的一个关键挑战，这主要是由于面部伪造技术和伪造内容的多样性不断增加所致。为了解决这个问题，本文提出了一种基于单步特征空间重建差异的面部伪造检测算法，该算法是从空间特征重建的角度出发设计的。具体来说，我们的方法对空间特征进行单步重建以计算

CRediT作者贡献声明

Kai Zhou：撰写——原始草稿、可视化、软件、方法论、数据整理。Guanglu Sun：撰写——审阅与编辑、监督、资源获取。Linsen Yu：撰写——审阅与编辑、监督。Jun Wang：撰写——审阅与编辑、验证。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本项工作得到了黑龙江省重点研发项目（JD2023SJ20）和中国国家自然科学基金（项目编号60903083）的支持。