VerbaFake、EchoFake 和 PixelFake：采用先进增强技术的轻量级架构，用于单模态深度伪造检测

《Scientific Reports》：VerbaFake, EchoFake, and PixelFake: lightweight architectures with advanced augmentation for unimodal deepfake detection

　　

摘要

深度伪造技术的快速发展，得益于深度学习和生成模型（如生成对抗网络）的推动，彻底改变了数字内容的创作方式，同时也对隐私、安全和数字信任带来了严重威胁。本研究通过开发一个全面的单模态深度伪造检测框架，应对深度伪造（包括合成图像、音频和文本）所带来的日益增加的风险。该系统利用了多种深度学习模型，包括卷积神经网络（CNN）、注意力机制（NLP）、门控循环单元（GRU）和双向长短期记忆网络（BiLSTM）以及胶囊网络。在图像检测方面，MobileNetV2、EfficientNetV2-S和自开发的PixelFake模型取得了高准确率，其中MobileNetV2和EfficientNetV2-S的准确率达到了97%；基于文本的检测模型（如自开发的VerbaFake、Efficient-CapsNet和基于注意力的BiLSTM）的准确率始终保持在99%以上。音频深度伪造检测模型（如Xception、DenseNet201和自开发的EchoFake）的准确率分别为96%、97%和98%。该框架为每种模态集成了专门的检测流程，确保了检测结果的一致性并提高了可靠性。研究使用了来自Kaggle及其他精选数据集的样本，包括超过26,000张图像、20,000段音频和31,429条文本记录。实验结果证实了该系统的有效性，尤其是在使用基于CNN的模型时。这项研究提供了一种轻量级、实时可行的解决方案，具有在新闻业、网络安全和执法领域的实际应用价值，同时也提高了人们对深度伪造伦理问题的认识，并为政策制定提供了参考。所提出的模型代码及相关数据可在以下GitHub仓库中获取：https://github.com/UsmanAlExp/DeepFake-Detection，DOI链接为：https://doi.org/10.5281/zenodo.19232320。