《Forensic Science International》：Explainable Machine Learning to Identify Cannabinoid 1 Receptor Agonists
编辑推荐：
检测生成式人脸图像的眼几何特征研究。该工作通过分析GAN和扩散模型生成的合成人脸与真实人脸的眼部几何特征差异，采用XGBoost分类器在控制与无控制条件下验证，发现垂直眼位偏移是最有效的单特征检测指标（AUC达97.56%），但多数据集合并分析时性能显著下降（AUC降至65.66-67.36%）。研究强调生理特征检测在标准化场景下的有效性，并建议与多模态系统结合使用。
Kuldeep Umesh Kawar | Silpa Nair | Navjot Kaur Kanwal | Devasish Bose
印度中央邦Sagar市Harisingh Gour大学犯罪学与法医学系，邮编470003
摘要
随着生成模型的迅速发展，需要可靠的方法来区分合成面孔和真实面孔。本研究评估了一组眼部几何特征，用于检测由基于GAN的模型（StyleGAN2/3）和文本到图像扩散模型（SFHQ-T2I）生成的合成面孔，这些模型分别在受控环境（芝加哥面孔数据库，CFD）和不受控环境（FFHQ，CelebA-HQ）下生成。使用MediaPipe Face Mesh提取面部标志点，然后通过XGBoost进行分类，包括成对比较和汇总分析，涵盖了3128张真实面孔和3470张合成面孔。结果显示不同生成方法之间存在明显差异。在受控条件下（CFD对比StyleGAN2），基于GAN的合成面孔可以被强烈检测出来（AUC为99.11%）。与不受控的FFHQ和CelebA-HQ数据集相比，扩散模型生成的面部（SFHQ-T2I）检测效果更好（AUC为84.36–86.47%）。垂直错位始终是最强的单一特征（AUC为65.85–97.56%）。然而，汇总分析的性能有所下降（AUC为65.66–67.36%），这主要是由于数据集的异质性，这与文献中提到的真实世界情况相符。这些发现表明，生理特征高度依赖于具体情境，随着生成模型在视觉真实度上的不断提高，检测框架也必须相应调整。尽管在汇总分析中的性能有所下降，但所提出的方法对于标准化、受控的图像仍然非常可靠，可以作为身份验证的快速筛查工具，以及多模态检测系统中的补充组件。
引言
近年来，视觉媒体中的深度伪造内容经常与名人面孔的篡改有关。这些篡改通常涉及将一个人的面孔替换为另一个人的面孔，或修改表情和其他属性[1]。深度伪造在网络上的流行程度越来越高，几乎每个社交媒体用户都对它们有所了解。这些技术确实改变了各种基于媒体的行业。然而，它们也带来了阴暗面，常常与犯罪活动相关联。这些犯罪不仅侵犯了个人隐私权，还助长了错误信息的传播，对民主制度构成了严重威胁。虽然常见的深度伪造类型引起了广泛关注，但有一种特定类型的深度伪造因其独特特性而越来越引起研究人员和执法部门的担忧。
与传统的深度伪造不同，这些图像是通过完整面部合成生成的[1]，通常被称为AI生成或GAN（生成对抗网络）面孔[2]。这类图像的定义特征是它们的身份完全是虚构的，即不属于任何真实人物。如[3]、[4]、[5]、[6]所述，开发了不同类型的GAN来创建合成面孔图像。尽管这些图像在视频游戏、3D建模[6]和神经网络训练等领域有应用价值，但也被用于恶意目的，包括儿童剥削[7]、虚假信息传播[8]、诱骗[9]和商业欺诈[10]。制造这些图像的人不会声称拥有特定的身份。2020年美国总统竞选活动就是一个典型的例子，期间有数千个虚假社交媒体账户被删除，用于传播某种意识形态[11]。这一事件凸显了合成图像所带来的危险。它们不仅通过诈骗和剥削构成威胁，还威胁到民主制度的基础。此外，值得注意的是，像thispersondoesnotexist.com这样的网站可以轻松访问和下载由StyleGAN2生成的图像[12]，这种易获取性进一步增加了合成图像的风险。
现有的合成面孔检测方法大致可以分为三类：基于深度学习的方法、基于物理特征的方法和基于生理特征的方法[13]。如[14]、[15]、[16]所述，基于深度学习的方法依赖于信号级别的特征来检测合成面孔。早期的GAN面孔检测工作使用了VGG-Net架构[17]，通常初始化为VGG-Face权重[18]。这些研究考察了残差伪影[19]、色度成分[20]和双通道CNN设计[21]。尽管报告的性能很高[22]，但这些模型基本上像黑箱一样工作，很少提供关于决策过程的见解[13]。因此，这给理解为什么某个面孔图像被分类为合成面孔带来了挑战。更复杂的是，研究表明人类参与者往往无法可靠地区分合成面孔，甚至可能比真实图像更信任它们[23]。
与深度学习方法不同，基于物理特征和生理特征的方法使用的是非专家用户也能理解的简单线索[13]。基于物理特征的方法通过分析与照明和反射等物理属性相关的不一致性来检测合成面孔。早期研究[24]考察了相机参数和光源方向。其他最近的方法[25]识别了眼睛之间角膜镜面高光的不对称性。然而，这些方法依赖于严格的假设（例如正面姿势、均匀照明）。如果这些假设不成立，可能会导致误判[13]。另一方面，基于生理特征的方法关注面部特征，如对称性、虹膜颜色和瞳孔形状。虽然早期研究[26]、[27]、[28]、[29]指出了GAN面孔中的标志点不一致性，但像StyleGAN2和StyleGAN3[3]、[5]、[6]这样的模型的进步减少了这些伪影。有一种方法[30]通过量化瞳孔形状的不规则性来识别它们，尽管遮挡和罕见的非椭圆形真实瞳孔仍然具有挑战性。生理特征方法不仅可解释且易于使用，而且丰富的面部标志点也为检测提供了宝贵的未充分利用的数据。利用这一事实，本研究提出了一种新的基于生理特征的框架，将眼部生理特征量化为六个特征集。这个特征集在六个数据集上进行了评估，包括三个真实数据集和三个合成数据集，经过基于阈值的过滤和手动筛选后得到6598张严格正面的1024×1024像素图像。选择正面面孔是因为它们是官方身份证明文件的标准。因此，能够在严格正面视角下检测篡改或合成面孔的技术在法医学应用中至关重要。通过使用经验得出的正面注视范围、严格验证的标志点精度和XGBoost分类器，在受控环境下实现了近乎完美的GAN区分（AUC > 0.97），但在模拟真实世界场景的汇总分析中，当所有真实数据集与所有合成数据集结合时，性能明显下降。这种方法的简单性和可解释性使其成为法医分析师的实用工具，有助于开发稳健的多模态合成检测系统。
数据采集
为了评估合成面孔的检测能力，选择了三个真实面孔数据集和三个合成面孔数据集的平衡组合。真实数据集包括芝加哥面孔数据库（CFD）[31]、[32]、[33]、CelebA-HQ [3]和Flickr-Faces-HQ（FFHQ）[5]。CFD包含1441张在严格控制的照明、姿势和表情条件下拍摄的高分辨率肖像。CelebA-HQ是一个高质量的数据集，包含30,000张名人照片，提供了较少受控但多样化的真实世界对照样本；
结果
从分类分析中获得了630个结果，包括对10个数据集对的单一特征和组合特征评估：9个真实面孔数据集与合成面孔数据集之间的成对比较，以及一个将所有真实面孔数据集和合成面孔数据集结合起来的汇总对，以模拟“真实世界”检测。分析通过多标准方法筛选特征组合，以确保模型的可靠性。只有满足条件的组合才被保留
讨论
结果显示，基于GAN（StyleGAN2/StyleGAN3）和文本到图像扩散（SFHQ-T2I）生成的合成面孔之间存在明显差异，检测效果受到真实图像获取方式的显著影响。研究结果强调了生理特征的情境依赖性，如下所述。
结论
生理特征可以用来检测合成面部图像，为专家和非专家提供易于解释的结果。为了实现这一法医目标，本研究证实，在标准化的正面姿势设置中，垂直错位（VM）能够可靠地检测出GAN生成的合成面孔，支持其在高风险任务（如身份验证和文件筛查）中的实际应用。在真实世界场景中，不同条件下捕获的图像可能会掩盖这些差异
CRediT作者贡献声明
Silpa Nair：撰写 – 审稿与编辑、撰写 – 原稿、验证、软件、方法论、调查、数据整理。Kuldeep Umesh Kawar：撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、监督、软件、资源、方法论、调查、形式分析、数据整理、概念化。Devasish Bose：撰写 – 审稿与编辑、可视化、验证、监督、方法论。Navjot Kaur Kanwal：撰写 – 审稿与编辑，
利益冲突声明
作者声明没有可能影响本文工作的财务利益或个人关系。
致谢
作者感谢UGC-SRF（参考编号210520119928）和DST-FIST对这项研究的资助。
