编辑推荐:
离散情绪语义通过行为和神经层级预测事件分割机制,揭示情绪动态在连续体验组织中的关键作用。
周思远|陈玉琳|王云宏|邱江|魏东涛
中国重庆西南大学心理学系
摘要
将连续体验分割成离散事件是感知和记忆的基础,但细粒度情绪类别对这一过程的贡献仍不清楚。通过使用26种离散情绪类别、情绪价值以及短暂情绪波动的帧级注释,我们研究了情绪类别如何预测观影过程中的行为和神经事件分割。在分层(事件嵌套)行为任务中,基于情绪类别的模型(尤其是悲伤和失望)比基于情绪价值和强度的模型更可靠地预测了事件边界,表明情绪语义对叙事结构有独特的贡献。在功能性磁共振成像(fMRI)中,这些相同的情绪类别能够可靠地预测从早期感觉区域到默认模式枢纽的皮层层次结构中的神经边界。整体情绪语义的短暂、基于余弦的波动还预测了伏隔核(NAcc)中的粗尺度边界。社会显著性线索,特别是集体存在,提供了额外的预测能力。这些发现共同表明,离散情绪语义及其动态提供了跨时间尺度的信号,支持行为和神经事件分割,突显了情绪在连续体验组织中的作用。
引言
在日常生活中,我们经历了一系列连续发生的事件,但我们自然地将这一流程解析为有意义的单元,以支持感知、理解和记忆。事件分割理论认为,大脑利用多种层次的信息来识别正在进行体验中的边界,从低层次的感知线索(如运动或视觉特征的变化)到高层次的线索(如目标、意图或情境背景的变化)(Zacks等人,2007年)。这些线索在多个时间尺度上起作用,产生了细粒度和粗粒度事件的层次结构。情绪变化是叙事和日常体验的显著特征;这些动态通常反映了角色在变化的目标或情境中评估模式的变化(Scherer和Moors,2019年)。越来越多的证据表明,动态情绪波动增强了人们对事件边界的敏感性(Antony等人,2021年;Chen和Swallow,2025年;McClay等人,2023年),表明情绪可能作为事件构建中的高级预测信号。然而,大多数研究使用广泛的维度模型(如情绪价值和唤醒度)来描述情绪(Clewett等人,2019年;Rouhani等人,2020年),尚未明确特定情绪类别在信号传递有意义情境变化方面的能力是否存在差异。此外,不同形式的情绪信息(包括离散情绪类别、动态情绪波动和情绪价值)如何贡献于事件分割,以及它们是否以不同的方式传递有意义的情境变化,目前仍不清楚。
越来越多的研究表明,大脑通过层次化组织结构来分割体验(Hard等人,2006a年;Speer等人,2003年;Zacks等人,2001年,2007年)。早期感觉皮层在数百毫秒的尺度上编码快速、短暂的信息,而更高层次的关联区域则整合更长时间窗口内的信息,构建更粗略的事件表征(Aly等人,2018年;Hasson等人,2015年)。这些层次结构不仅支持感知和记忆过程,还使感觉流转化为连贯的整合事件模型(Baldassano等人,2017年;Ben-Yakov和Henson,2018年)。除了这些感知和结构标记外,叙事还充满了社会情感线索,这些线索编码了意义、意图和情境评估的变化(Kleres,2011年)。由于离散情绪类别源于不同的评估模式(Scherer和Moors,2019年)并具有叙事意义,它们可能为更新内部事件模型提供高级信号。
越来越多的证据表明,情绪调节事件分割。例如,在观看体育比赛时,惊讶情绪的峰值与主观事件边界一致(Antony等人,2021年);与恐惧相关的线索划分了情节片段(Dunsmoor等人,2018年)。关键的是,负面或高幅度的唤醒度和情绪价值变化促进了事件分割为离散事件,而积极的变化则加强了信息在时间上的整合(McClay等人,2023年)。自然主义的观影研究进一步表明,观众追踪的情绪唤醒水平与他们自发报告的事件边界紧密同步(Chen和Swallow,2025年)。同时,最近的fMRI研究利用对所有2185个视频的fMRI反应,确定了这种高维情绪体验的神经基础;他们的分析表明,情绪类别比情感维度更好地预测了皮层和皮下反应(Horikawa等人,2020年)。由于以往的研究主要依赖于维度情感或孤立的情绪操作,离散情绪类别(每个类别都携带不同的意义和评估模式)是否对大脑层次结构中的事件分割产生不同影响仍不清楚。
为了解决这些空白,本研究采用了一种自然主义的观影范式,将帧级多类别情绪注释(Camacho等人,2022年)与嵌套的行为和fMRI事件分割任务相结合(图1)。这种方法产生了一个连续的时间序列动态情绪类别,使我们能够测试特定情绪语义如何预测主观边界对齐和皮层层次结构中的神经状态转换。基于事件结构的层次模型,我们假设情绪类别将在粗时间尺度上支持更广泛的整合过程,而在细粒度层面上发挥更局部化、依赖上下文的影响,并且不同形式的情绪信息(包括离散情绪类别、基于情绪价值的维度和动态情感波动)可能在这些时间尺度上产生不同的贡献。
注:(A)上图显示了视频刺激中的关键事件转换点及其对应的主要情绪类别。视频的前半部分来自皮克斯动画《Lou》(Mullins和Murray,2017年),后半部分来自梦工厂动画《Bilby》(Perifel等人,2018年)。视频组成详情见“方法 – 视频材料”部分。下图展示了使用EmoCodes系统逐帧编码的多类别情绪的时间动态;完整的独立情绪变化模式显示在图S1中。这里,Pos和Neg分别表示正面和负面情绪价值;如Love_obj这样的特定情绪标签表示离散情绪类别。这些情绪代码在表S1和参考文献(Camacho等人,2022年)中有进一步解释。(B)每一行显示了在特定行为事件分割条件下参与者识别的事件边界。跨越多行的阴影区域表示多个实验条件共有的边界。“Hierarchical”表示事件嵌套任务,“Natural”指的是自然分割条件(见方法 – 事件分割行为实验)。(C)每一行显示了从个体隐马尔可夫模型估计的组级平均值得出的事件边界时间点分布,涉及不同信息层次(高、中和低层次)的相关脑区。更深的阴影对应于每个区域内边界点密度的峰值(见方法)。
章节片段
参与者和伦理声明
招募了视力正常的成年大学生进行基于视频的情绪注释和行为事件分割任务。在2023年的自然主义观看实验中,招募了健康的青少年(9-18岁)。所有实验程序均得到了中国西南大学心理学系的机构审查委员会(IRB)的批准(批准编号:H23037)。在
多类别情绪预测跨层次的行为事件边界
EmoCodes系统通过整合自动提取的低级特征和情感特征,标准化了动画视频内容的注释(Camacho等人,2022年)。使用自然主义观看范式的先前研究表明,该系统能够稳健可靠地编码情绪类别(Camacho等人,2023年)。成年人的注释确保了情绪类别的可靠标记和神经分析的可比性,因为成年人在
讨论
本研究表明,离散情绪类别显著预测了多个时间尺度上的行为和神经事件边界,而基于情绪价值和强度的模型的预测能力有限。这与情绪是通过感知、记忆、预期和动机元素的整合由个体构建的观点一致(Wager等人,2015年)。然而,对于离散类别观察到的强烈预测效应可能并不
结论
通过将自然主义刺激与跨层次分析相结合,本研究提供了关于离散情绪类别在事件分割中的预测作用的新见解。我们的发现阐明了这些情绪类别通过皮层时间整合层次结构处理的潜在神经机制。这些结果表明,离散情绪可能不仅仅是体验的附属品,而是作为组织人类
作者贡献声明
周思远:写作 – 审稿与编辑,写作 – 原稿撰写,可视化,方法论,调查,概念化。陈玉琳:概念化。王云宏:方法论,概念化。邱江:写作 – 审稿与编辑,写作 – 原稿撰写,监督,调查。魏东涛:写作 – 审稿与编辑,写作 – 原稿撰写,监督,方法论,调查,概念化。
资助
本工作得到了国家自然科学基金(22VRC191 至J.Q.)科技创新2030- “脑科学与类脑研究”重大项目(2022ZD0210800 至DT.W.)国家自然科学基金(32371095 至DT.W.)的资助。
致谢
作者感谢美国密苏里州圣路易斯华盛顿大学的Jeffrey M. Zacks教授和动态认知实验室对本手稿内容的宝贵建议。作者还感谢Yuru Song和Zihan Xu在fMRI实验数据收集方面的贡献。