编辑推荐:
提出了一种针对噪声干扰的图像伪造定位网络RIFoL,包含恢复模块和伪造定位模块。恢复模块采用改进的U-Net结构结合小波变换,有效恢复高斯噪声下的伪造痕迹;伪造定位模块通过多尺度空间注意力机制(SFEM)和跨通道特征融合模块(MAFM)增强特征表达。实验表明在Columbia和CASIA数据集上,F1分数提升超过30%,平均性能优于现有方法。
吴阳山|小雨路|严旺|易杰谢|小琴余
成都理工大学计算机科学与网络安全学院,中国成都,610059
摘要
噪声的引入使得图像伪造定位变得具有挑战性。人们可以轻易地使用加性高斯白噪声和其他类型的噪声来攻击伪造的图像。对含噪声图像的鲁棒性不足已成为图像伪造定位技术实际应用中的一个主要问题。为了解决这个问题,我们提出了一个名为RIFoL的图像伪造定位网络。RIFoL由一个恢复模块和一个伪造定位模块组成。恢复模块可以从受噪声攻击的伪造图像中恢复原始的伪造痕迹。我们在伪造定位模块中设计了一种伪造痕迹增强机制,包括空间特征增强模块(SFEM)和多注意力特征融合模块(MAFM)。SFEM采用多尺度注意力机制,将通道和空间注意力信息结合到特征增强模块中。与现有的最先进方法相比,我们的方法在检测和定位受噪声攻击的伪造图像方面表现出更优越的性能。
引言
在现代数字时代,数字图像已成为日常生活中不可或缺的一部分。随着Photoshop等图像编辑软件的出现,个人可以更加容易地操纵图像。人们可以利用这些工具创建逼真的伪造图像,从而导致各种图像伪造技术的广泛应用。为了防止与伪造图像相关的危害,Bi等人(2019年)–Shan等人(2024b年)提出了许多方法来检测和定位图像伪造。具体来说,一些方法可以识别特定的伪造类型,如拼接(Bi等人,2019年);复制移动(Sun等人,2022年);Asnani等人(2022年);Li和Zhou(2018年);Zhong和Pun(2019年);Zhou等人(2018年)以及修复(Li等人,2021年);Li等人(2017年);Wu和Zhou(2021年)。此外,Liu等人(2022年);Wu等人(2022年)可以识别多种类型的伪造。然而,数字图像在传播过程中会受到各种有损操作的影响,例如噪声。各种类型的噪声的引入会降低伪造定位方法的有效性。
大多数现有的图像伪造定位方法依赖于特征提取网络来识别伪造痕迹。这些痕迹主要表现为真实区域和伪造区域之间的属性差异。ManTra-Net(Wu等人,2019年)主要通过识别图像中的局部异常特征来检测伪造像素。H-LSTM(Bappy等人,2019年)结合长短期记忆网络来识别伪造区域。HDU-Net(Wei等人,2022年)将RGB空间转换为其他三个空间,以提取篡改区域和未篡改区域之间的更多属性差异。然而,在噪声干扰下,这些伪造痕迹会被掩盖,导致此类伪造定位方法的性能显著下降。
向伪造图像添加噪声被认为是降低图像质量的最简单和最有效的方法之一。添加噪声意味着在原始图像中人为引入遵循正态分布的随机扰动。目前,许多伪造定位网络对低强度的高斯噪声具有鲁棒性。然而,伪造者经常使用不同强度和类型的合成噪声来攻击伪造图像。许多伪造定位网络在处理合成噪声图像时失去了良好的检测性能。对噪声扰动的有限鲁棒性已成为图像伪造定位技术实际应用中的一个主要问题。
尽管一些研究(Sun等人,2020年;Wu等人,2022年)在检测通过在线社交网络传输的噪声图像方面取得了进展,但它们在检测含有合成噪声的图像方面的性能仍然不足。此外,一些方法(Shan、Xie、Wang、Zou、Qiu、Li,2025a;Shan、Zou、Wang等人,2024年)仅在检测和定位具有特定类型噪声的伪造图像方面有效,但在其他类型的噪声下表现较差。Reloc(Zhuang等人,2023年)提出了一个新的视角:在执行伪造定位之前先恢复失真的图像。Reloc直接整合了现有的取证网络,如MVSSNet(Chen等人,2021年)。这种方法没有提出新的伪造定位网络架构,而是专门为JPEG压缩图像设计的。最近的图像任务为我们提供了宝贵的见解,例如Wang等人(2025b)和Wang等人(2023年)。在伪造定位模块内增强恢复图像的特征对于提高定位性能至关重要。关于图像特征融合,Liu等人(2026年)最近提出了一种有效整合视觉和文本特征的方法。为了实现这一点,该方法采用了双向特征交互机制,不仅增强了跨模态表示学习,还提高了推理性能。尽管恢复可以在噪声图像中恢复一些伪造痕迹,但这一过程本质上是会有损的。因此,即使使用恢复后的图像,准确定位伪造区域仍然很困难。这一限制使得设计有效的伪造定位网络成为一个主要挑战。
为了解决上述挑战,我们提出了一个名为RIFoL的鲁棒伪造定位网络,它由一个恢复模块和一个伪造定位模块组成。与Reloc不同,我们没有简单地将恢复模块与伪造定位网络结合起来。对于伪造定位任务,我们特别实现了以下两种设计来保留伪造痕迹。我们的恢复模块以空间自适应块(Chang等人,2020年)作为其核心。传统的恢复网络往往难以有效恢复伪造痕迹。为了解决这个问题,我们在下采样阶段结合了小波变换和空间残差块,将特征图分解为高频和低频成分,以在多个尺度上揭示图像特征。恢复模块逐步去除噪声,重建细节和纹理,并恢复原始图像的伪造细节。考虑到恢复后的图像也对伪造定位构成挑战,我们提出了一种基于多尺度的注意力机制来增强伪造痕迹。该机制包括空间特征增强模块(SFEM)和多注意力特征融合模块(MAFM)。在执行伪造定位时,恢复图像通过伪造痕迹增强机制处理全局上下文信息来增强特征。这种机制放大了伪造痕迹,并在不同尺度上融合特征。SFEM使用多尺度注意力机制实现空间特征增强,而MAFM通过空间和通道路径聚合不同尺度的特征。这两种模块的结合使用提高了伪造定位网络的检测性能。为了评估我们网络的有效性,我们进行了多项实验,结果表明我们的方法在常见数据集上优于现有的最先进伪造定位技术(Guillaro等人,2023年;Liu等人,2022年;Lou等人,2025年;Wu等人,2022年;Zhu等人,2024年;Zhuang等人,2023年)。
在这项工作中,我们做出了以下关键贡献:
•我们提出了一种用于噪声图像的新的伪造定位网络。该网络首先使用恢复模块从噪声图像中恢复原始的篡改痕迹。然后,这些痕迹通过专用的伪造定位模块进行增强和定位。这一精炼的过程最终使网络能够更准确地定位伪造区域。
•我们在伪造定位网络中设计了一种基于注意力的伪造痕迹增强机制,该机制包括:空间特征增强模块(SFEM)和多注意力特征融合模块(MAFM),并将其与环形残差块(RSFE-U-Net)结合。与各种最先进方法(Guillaro等人,2023年;Liu等人,2022年;Lou等人,2025年;Wu等人,2022年;Zhu等人,2024年;Zhuang等人,2023年)相比,在高强度高斯噪声场景下,我们的方法在F1分数上提高了超过30%,并且在各种噪声场景下的平均分数提高了10%以上。其在所有噪声场景下的平均性能超过了现有方法。
•我们设计了一种新的图像恢复模块,可以从严重噪声中恢复细节和纹理。该模块可以恢复原始的伪造痕迹,这些痕迹可以被伪造定位模块检测到。当与现有的伪造定位技术结合使用时,我们的恢复模块在噪声图像中定位伪造区域方面表现出色:在Columbia数据集上,在高强度高斯噪声场景下F1分数提高了30%以上,在各种合成噪声场景下平均F1分数提高了10%。
部分摘录
图像伪造定位
目前,抗噪声取证方法的研究仍然不足,各种类型的噪声会显著降低图像质量和高频取证信息。已经提出了几种取证方法(Bi等人,2019年)–Shan等人(2024b年)来识别数字图像是否被伪造。这些方法通过伪造操作留下的特定痕迹来检测伪造区域。更具体地说,RGB-N(Zhou等人,2018年)使用Faster R-CNN(Ren等人)。
提出的方法
我们提出了一种用于噪声图像的伪造定位网络,名为RIFoL。该网络的核心设计包括一个恢复模块和一个伪造定位模块。网络的结构如图2所示:首先,我们向干净的伪造图像X添加合成噪声以生成噪声图像Y。接下来,我们将噪声图像输入恢复网络以获得恢复后的图像Y。最后,我们将恢复后的图像输入伪造定位网络以生成伪造掩码Z
实验
在本节中,我们展示了我们提出方法的优越性能的实验结果。为了更好地展示,我们首先解释了详细的实验设置。然后,我们提供了四种公开可用数据集在不同噪声处理下的检测结果,以及四种流行的OSNs的结果。作为比较,我们还提供了四种最先进方法的结果。最后,进行了广泛的消融实验,并研究了更具挑战性的实际案例
局限性
RIFoL可以定位各种类型的伪造图像。然而,像素级别的定位仍然具有挑战性,特别是在处理实际场景中遇到的伪造图像时。在这里,我们展示了几种失败案例,其中图像通过社交网络传输并受到了额外的混合噪声干扰。实际中的伪造图像可能会经历多个后期处理步骤。在图7中,每一行对应于通过不同社交网络传输的图像
结论
在这项工作中,我们提出了RIFoL,以提高检测经过各种合成噪声处理的伪造图像的鲁棒性。我们的恢复模块恢复了噪声图像并恢复了其原始的伪造痕迹。此外,SFEM关注通道和空间注意力信息,并通过嵌入精确的位置细节来增强全局上下文信息。MAFM从不同尺度聚合特征以实现良好的伪造定位。广泛的实验表明,我们的RIFoL
未引用的参考文献
缺少引用:Cozzolino等人(2019年);Fu等人(2019年);Hu等人(2020年);Shan*等人(2019a);Shan、Liu、Qiu、Li,2024a;Shan、Yi、Qiu、Yin,2019b。
CRediT作者贡献声明
吴阳山:撰写 – 原始草稿,可视化,验证,监督,调查,数据管理,概念化。小雨路:撰写 – 审稿与编辑,撰写 – 原始草稿,可视化,验证,监督,概念化。严旺:可视化,验证,软件。易杰谢:监督,资源。小琴余:项目管理。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。