《IEEE Transactions on Computational Social Systems》：GEM-AI: A Generative AI Driven Zero-Shot Method for Group Emotion Recognition
编辑推荐：
本文针对群体情感识别领域长期存在的评估难题——传统二元指标难以捕捉情感状态的语义细微差别——介绍了一种创新方法。研究人员开发了名为GEM-AI的零样本群体情感识别框架，通过将精确率、召回率转化为“软指标”，对多种开源VLM（包括LLaVA、MiniCPM等）进行了系统性评估。结果显示，在该框架下，模型展现出了约80%的语义准确性，其理解能力远超传统指标所评估的约60%水平，揭示了当前模型被低估的、对群体情感的深层理解能力。
在当今社交媒体与公共监控视频无处不在的时代，理解和解读一群人（如集会、会议、公共活动中的群体）的整体情感状态，正变得前所未有的重要。这不仅关乎商业洞察与舆情监控，更在公共安全、心理健康筛查等领域具有巨大潜力。传统的计算机视觉方法虽然在个体面部表情识别上取得了长足进步，但当面对一群表情各异、互动复杂的人时，往往力不从心。更棘手的是评估问题：我们如何判断一个算法对“群体情绪”的判断是准确的？是把每个人的情绪简单加总平均吗？显然，悲伤、愤怒、喜悦这些情感词汇之间存在着复杂的语义关联，绝非简单的“对”或“错”可以衡量。现有的评估指标，因其非此即彼的二元逻辑，就像用一把刻度粗糙的尺子去测量精细的纹理，完全无法捕捉这种细腻的语义关系。这导致了一个尴尬的局面：即便先进的人工智能模型可能已经具备了对群体情感的深刻理解，我们却缺乏一把合适的“尺子”去衡量它，其能力因此被严重低估。为了给这把“新尺子”刻上精准的刻度，一项发表在《IEEE Transactions on Computational Social Systems》上的研究应运而生。
这项研究旨在破解群体情感识别（Group Emotion Recognition）的评估困局。研究者提出，评价一个模型对群体情感的判断，不应只看其是否能将每个个体的情绪“对号入座”，更要看其整体判断在情感语义空间中的“位置”是否与真实情况接近。为此，他们引入了一个名为GEM-AI（Generative AI driven group-based Emotion recognition method）的全新框架。该框架的核心思想是利用生成式人工智能（AI）模型（特别是视觉语言模型，Vision-Language Model, VLM）本身对语言和图像的强大理解能力，构建一个基于语义相似度的评估体系。他们将传统的精确率（Precision）、召回率（Recall）和F1分数重新定义为“软指标”（soft metrics），这些指标不再苛刻地要求完全匹配，而是允许“近义词”或“相关情感”获得部分分数，从而更贴合人类对情感的模糊、关联性认知。研究者们在零样本（Zero-Shot）设定下——即不针对特定任务对模型进行额外训练——将GEM-AI框架应用于多个顶尖的开源VLM，包括LLaVA、MiniCPM、Deepseek-VL和Qwen-VL，对它们在群体情感识别任务上的表现进行了一次公平、深入的“体检”。
为开展研究，作者主要运用了以下关键技术方法：首先，构建了一个基于语义相似度的群体情感评估框架（GEM-AI），将传统二元分类指标（精确率、召回率）重构为连续值的“软指标”。其次，采用了零样本学习范式，直接测试多个预训练开源视觉语言模型（VLM），包括LLaVA、MiniCPM-V、Deepseek-VL和Qwen-VL，避免了模型微调引入的偏差。最后，利用这些VLM对包含群体场景的图像进行描述和情感标注，并通过计算预测情感标签集合与真实标签集合在语义向量空间中的相似度来量化模型性能。
研究结果
GEM-AI框架下的模型性能显著提升
当使用新颖的GEM-AI框架进行评估时，所有测试的视觉语言模型（VLM）都展现出了远超传统评估方法所揭示的性能水平。具体而言，这些模型在群体情感识别任务上达到了约80%的语义准确率。这一定量结果直接证明，现有的先进VLM对于群体中交织的、复杂的情感状态具有相当深入和细致的理解能力。相比之下，当使用常规的、基于严格匹配的精确率、召回率等指标进行评估时，这些模型的准确率仅为60%左右。这一巨大差距（约20个百分点的提升）清晰地表明，传统评估体系由于其僵化的二元判定逻辑，严重低估了模型在理解情感语义细微差别方面的真实潜力。
不同VLM模型在GEM-AI框架下表现趋同且优异
研究对LLaVA、MiniCPM、Deepseek-VL和Qwen-VL等多个开源VLM进行了横向比较。在GEM-AI框架的评估下，这些模型的表现都达到了较高的水准，并且彼此之间的性能差异相较于传统评估方法下有所缩小。这一发现具有重要意义：它说明GEM-AI框架可能捕捉到的是这些多模态大模型一种更本质的、共通的“理解”能力——即对图像中社会性与情感性内容的语义解码能力，而这种能力在不同架构的模型中均有一定程度的体现。研究结果间接支持了大规模预训练赋予VLM以通用场景理解与常识推理能力的观点。
“软指标”有效量化语义连贯性
通过将精确率、召回率等硬性指标转化为“软指标”，研究成功地量化了模型预测与真实情况之间的语义连贯性。例如，当一个模型将群体情感预测为“欢快”（joyful），而真实标签是“兴奋”（excited）时，传统指标会将其判为完全错误；但在GEM-AI的语义相似度计算中，这对近义词将获得较高的相似度分数。这种方法更符合人类对情感标签模糊性和关联性的认知，使得评估结果更具说服力和实用性。这为未来情感计算、人机交互等领域的模型评估提供了一种新的、更合理的度量标准。
结论与讨论
本研究通过提出并验证GEM-AI框架，有力地论证了当前先进的视觉语言模型（VLM）在零样本条件下，已具备对群体情感状态进行语义层面深度理解的显著能力，而这种能力被传统的、基于二元匹配的评估指标严重掩盖。该研究的核心贡献在于方法论层面：它首次系统性地提出了一种用于评估群体情感识别任务的、基于语义相似度的“软指标”体系，突破了该领域长期存在的评估瓶颈。这不仅为更公平、更准确地衡量现有模型的性能提供了新工具，也为未来开发更强大的群体情感分析模型指明了方向——即关注模型的情感语义建模能力，而不仅仅是分类精度。
更重要的是，GEM-AI框架的零样本特性具有很高的实用价值。它意味着研究人员或开发者无需耗费大量资源和时间对模型进行针对性的数据标注与微调，即可快速、轻量级地评估或应用现有VLM处理群体情感分析任务，极大地降低了该技术的应用门槛。该研究将促进群体情感识别在社交机器人、智能安防、市场分析、心理健康辅助诊断等多个领域的实际落地。总之，这项工作如同一把重新校准的标尺，让我们得以窥见人工智能在理解人类复杂社会情感方面已经达到的、远超我们此前认知的深度，并为通往更细腻、更智能的人机共情未来铺平了道路。
