《Scientific Reports》:Dynamic multimodal expressions support inference of both presence and relative salience of blended emotions
编辑推荐:
很少有研究探索混合情绪(blended emotions)的非言语沟通,尽管常见报告指出个体同时体验多种情绪。在两个预注册实验中,研究人员调查了参与者是否能够准确判断动态多模态表达(dynamic multimodal portrayals)中不同情绪的突出程
很少有研究探索混合情绪(blended emotions)的非言语沟通,尽管常见报告指出个体同时体验多种情绪。在两个预注册实验中,研究人员调查了参与者是否能够准确判断动态多模态表达(dynamic multimodal portrayals)中不同情绪的突出程度。演员使用面部表情、身体动作和声音,以不同比例表演愤怒(anger)、厌恶(disgust)、恐惧(fear)、快乐(happiness)和悲伤(sadness)的两两组合(pairwise combinations)。在研究1中,参与者被指示选择两个量表(从5个可用量表:愤怒、厌恶、恐惧、快乐、悲伤中)来描述他们对表达中情绪内容的印象,并评价所选两种情绪被感知的清晰度。在研究2中,参与者自由选择任意数量的量表(从5个可用量表中)进行情绪评分任务。两项研究的结果一致,表明所有混合情绪均被准确感知,在对应预期情绪(intended emotions)的量表上评分显著高于非预期情绪(non-intended emotions)。参与者还能准确判断每种情绪的相对显著性(relative salience),即混合中哪种情绪占主导、哪种较不显著。总之,结果揭示了对混合情绪的存在(presence)与相对显著性的细微感知(nuanced perception),这可能有助于在复杂社会环境中导航。
论文解读文章
研究背景与问题
非言语情绪表达研究长期聚焦于单一情绪的识别,常采用静态面部表情图片。然而,现实中的情绪并非静止或仅通过面部传递,而是随时间演变,并经由面部、声音和身体多通道共同表达。同时,个体常体验到多种情绪并存的状态,即混合或复合情绪(blended/complex emotions)。尽管自我报告研究反复证实混合情绪的普遍性,但关于其非言语沟通(nonverbal communication)的研究仍十分有限。已有研究如Nummenmaa和Israelsson等曾探究等比例混合情绪的识别,但未关注不同情绪在混合中的相对显著性(relative salience)。本研究旨在回答:个体能否从动态多模态表达中同时准确推断混合情绪的存在(presence)与相对显著性?这一问题的解答对于理解复杂社会环境中的情绪交流至关重要。
研究开展与结论
研究人员开展了两项预注册实验(preregistered experiments)。演员使用面部表情、身体动作和声音,以不同比例(30:70、50:50、70:30)表演愤怒、厌恶、恐惧、快乐、悲伤的所有两两组合(10种组合),共6名演员(3女)提供180个视频刺激。研究1要求参与者从5个似然量表中强制选择两个进行评分(0–10);研究2则允许自由选择任意数量量表。两项研究结果一致:参与者对所有混合情绪的感知显著准确,在对应预期情绪的量表评分显著高于非预期情绪;他们还能准确区分主导与非主导情绪。准确率指标(宽松、严格、非常严格)均显著高于随机水平(除个别恐惧相关组合外)。该研究发表在《Scientific Reports》。
主要关键技术与方法
本研究采用动态多模态情绪表达刺激(视频,1–5秒),来自6名演员(3女),分别表达10种情绪两两组合的三种比例(30:70、50:50、70:30)。情绪感知任务结合了强制选择与评分量表:研究1限制选择两个量表,研究2允许自由选择量表数量(1–5)。数据分析使用重复测量方差分析(ANOVA)和三种准确率指标(宽松、严格、非常严格)。参与者通过在线平台招募(研究1 N=43,研究2 N=39),均为瑞典语理解者,经伦理委员会批准(决策号2021-00972)。研究使用PsychoPy和Pavlovia平台进行在线实验。
研究结果
**情绪评分(Emotion ratings)**
通过重复测量ANOVA,所有情绪组合在对应预期情绪的量表上评分显著高于非预期组合(p < .001)。多数后验比较显示目标组合评分显著更高,但恐惧量表中部分目标组合(如50:50愤怒-恐惧)与非目标组合(如50:50厌恶-悲伤)差异不显著。
**探索性分析(Exploratory analyses)**
针对30:70和70:30条件,多数组合中更突出的情绪评分显著高于较不突出情绪(如30:70愤怒-厌恶中厌恶显著高于愤怒)。例外包括70:30快乐-悲伤(差异不显著)和30:70愤怒-恐惧(愤怒意外高于恐惧)。
**准确率指标(Accuracy indices)**
宽松准确率(至少识别一个预期情绪)在所有条件下均显著高于随机水平;严格准确率(识别两个预期情绪)在多数组合中显著;非常严格准确率(识别两个情绪及其比例)在70:30厌恶-悲伤等个别组合中未达显著,但总体显著。研究2结果一致,但准确率略低于研究1,可能因自由选择量表所致。
总结讨论
研究证实个体能够从动态多模态表达中准确感知混合情绪的存在与相对显著性,但恐惧相关组合更难识别,可能因其表达特征被其他情绪掩盖。讨论指出演员表演与自然表达可能存在差异,强制选择任务可能高估识别能力,未来需采用开放式任务。结论翻译:总之,研究人员的发现表明,当个体观看演员以不同比例组合两种情绪的动态多模态表达时,他们通常能够准确判断表达中包含了哪些情绪以及每种情绪的含量。尽管这种能力在不同情绪组合间略有差异,但整体上,研究结果揭示了对混合情绪存在与相对显著性的细微非言语沟通,这可能有助于在混合情绪并不罕见的社会环境中导航。