AnyPattern：面向上下文图像复制检测的研究

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：AnyPattern: Towards In-context Image Copy Detection

本文提出AnyPattern数据集和ImageStacker方法，用于无需微调的上下文图像复制检测。AnyPattern包含90+10个干扰模式，显著提升模型泛化能力（+26.66% μAP），ImageStacker通过叠加代表性图像对提示实现高效检测（+16.75% μAP）。该方法还可识别文本生成图像的风格模仿。

　　

摘要

本文探讨了图像复制检测（ICD）中的上下文学习方法，即通过提示ICD模型来识别具有新篡改模式的复制图像，而无需额外训练。这些提示（或上下文）来自一组包含图像复制对的少量数据集，这些数据集反映了新的篡改模式，并在推理时被使用。这种基于上下文的ICD方法具有很高的实际价值，因为它不需要微调，因此能够快速应对未见过的模式的出现。为了适应“已见模式到未见模式”的泛化场景，我们构建了首个大规模的模式数据集AnyPattern，该数据集包含的篡改模式数量在所有现有数据集中最多（训练用90个，测试用10个）。我们将AnyPattern与流行的ICD方法进行了基准测试，发现现有方法几乎无法泛化到新的模式。我们进一步提出了一种简单的基于上下文的ICD方法，称为ImageStacker。ImageStacker能够学习选择最具代表性的图像复制对，并以堆叠的方式使用它们作为模式提示（而不是常见的拼接方式）。实验结果表明：(1) 使用我们的大规模数据集进行训练显著提升了模式泛化能力（+26.66%的μAP值）；(2) 提出的ImageStacker方法有效促进了基于上下文的ICD效果（再次提升了16.75%的μAP值）；(3) 即使没有如此大规模的数据集，AnyPattern也能实现基于上下文的ICD学习。除了ICD任务之外，我们还展示了AnyPattern如何为艺术家带来帮助，即基于AnyPattern训练的模式检索方法能够泛化到文本到图像模型中的风格模仿识别。该项目可在https://anypattern.github.io公开获取。