用于视觉理解中通用深度伪造检测的动态时空一致性学习 李继成（Jicheng Li） 廖广军（Guangjun Liao） 王玉飞（Yufei Wang） 刘星（Xing Liu） 刘贝贝（Beibei Liu）

《Mathematics》：Dynamic Spatial-Temporal Inconsistency Learning for General Deepfake Detection in Visual Understanding Jicheng Li, Guangjun Liao, Yufei Wang, Xing Liu and Beibei Liu

　　

摘要

可泛化的深度伪造检测对于真实世界计算机视觉应用中的可信视觉理解至关重要。本文提出了一种动态时空不一致性学习算法，旨在实现深度伪造视频检测的高泛化能力。现有的基于视频的检测方法往往要么只关注空间伪影，要么仅仅利用粗略的时间不一致性来识别深度伪造视频，这阻碍了细粒度时空线索的获取，从而限制了它们的泛化能力。为此，我们提出了动态时空网络（DST-Net），这是一种通过三个协同模块系统地提取全面不一致性线索的深度架构。短期时间模态提取（STME）模块从相邻帧中捕捉时间动态；短期时空不一致性提取（SSTIE）模块在像素级监督下学习出对抗干扰具有语义意义的不一致性特征；动态时空不一致性提取（DSTIE）模块则跨时间尺度自适应地聚合这些特征，构建出稳健的多尺度表示。这种设计确保了学习到的表示能够捕捉到本质的伪造模式，从而提高了泛化和鲁棒性。在五个广泛采用的基准数据集上进行的全面评估显示，我们的方法优于九种代表性竞争算法，并且在面对常见的图像干扰时具有更强的鲁棒性。这项工作推动了深度学习算法在多媒体取证中可靠视觉理解领域的应用。