《Intelligent Systems with Applications》：Buyer-Seller-Deception-Game Dataset: A new comprehensive dataset for facial expression based deception detection in economic contexts
编辑推荐：
本研究针对视频和音频模态的自动欺骗检测难题，提出高质量低风险数据集Buyer-Seller-Deception-Game Dataset (GAME)，通过经济实验收集500个标注视频样本。研究评估了动作单元(AU)、凝视、头部姿态等多模态特征，发现OpenFace的AU特征在受控环境中表现最优，而CNN-based AU预测器在复杂场景更具优势。该数据集为在线交互场景的欺骗检测研究提供了重要基础。
在数字化时代，线上会议和虚拟销售日益普及，如何通过普通摄像头识别欺骗行为成为重要课题。传统测谎仪依赖生理信号检测，需要专业人员和特殊设备，难以应用于日常在线交互场景。尽管人们自信能识别谎言，但研究表明人类判断准确率仅略高于随机猜测。现有欺骗检测数据集存在样本量小、缺乏经济激励、生态效度低等局限，难以支撑可靠算法的开发。
德国奥托·冯·格里克大学的研究团队在《Intelligent Systems with Applications》发表研究，推出Buyer-Seller-Deception-Game Dataset (GAME)数据集。该数据集通过精心设计的卡牌游戏实验，模拟真实买卖场景中的信息不对称情境。卖家知晓卡牌真实颜色（红/黑），通过视频通话向买家提供建议，其收益与买家选择红牌直接挂钩，从而自然诱发欺骗和诚实行为。研究采用轮盘匹配设计，每位卖家与五位不同买家交互，最大化数据多样性。
关键技术方法包括：使用Logitech BRIO 4K摄像头采集60fps视频；通过OpenFace和CNN模型提取面部动作单元(AU)、注视方向、头部姿态等特征；采用支持向量机(SVM)和随机森林(RF)等机器学习算法进行分类；使用OpenSMILE提取音频特征进行多模态融合分析。
数据集分析结果显示：
- •
行为模式分析：卖家推荐红牌的频率显著更高，买家总体准确率为58.8%。当实际卡牌为红色时，买家准确率升至67.9%，而黑色时降至47.3%，表明买家对特定情境的识别存在偏差。
- •
特征分布比较：低风险GAME数据集的特征分布相对对称，而高风险Real-life trial (RL)数据集呈现更大不对称性。头部姿态偏航角在RL数据集中表现出最显著差异。
- •
单变量关系：高风险场景中注视偏航角、AU20（唇部拉伸器）等特征与欺骗率显著相关，而低风险场景中年龄、惊讶表情和AU4（眉毛降低器）差异更为明显。
模型性能评估表明：
- •
AU检测对比：OpenFace的AU特征在受控的GAME数据集上达到75.30%准确率，而基于EmotioNet训练的CNN模型在视频质量较差的RL数据集上表现更优（71.67%准确率）。
- •
多模态融合：结合视觉和音频特征后，RL数据集上的最佳准确率提升至83.05%，GAME数据集达到81.89%，证实多模态方法的优势。
- •
分类器比较：随机森林在多数情况下表现最佳，RL数据集上达到76.27%准确率，使用特征选择后进一步提升至79.66%。
特别对假笑（AU12与AU6的组合模式）分析发现，高风险场景中欺骗样本显示更明显的假笑特征，而低风险场景中未观察到显著差异，证实情境因素对非言语线索的影响。
研究结论强调，低风险欺骗检测数据集对在线应用场景具有重要价值，不同特征提取方法需根据具体条件选择。OpenFace在受控环境中仍具竞争力，而CNN方法更适合复杂现实场景。多模态方法虽能提升性能，但当前数据集规模仍限制端到端深度模型的应用。
该研究的实际意义在于为虚拟销售、在线咨询等场景的欺骗检测工具开发奠定了基础，同时揭示了不同风险水平下行为线索的差异性。未来工作将扩展数据集规模，并探索将检测系统实时集成到交互实验中，研究人类对自动化欺骗检测的依赖程度。数据集公开提供将促进该领域研究的可重复性和可比性。
