编辑推荐：
本研究首次通过脑电图（EEG）时间-频率分析（TFA）探究了视觉漫画叙事理解全过程（超过10秒）中的神经振荡动态。研究发现，在叙事展开过程中，alpha（8-12 Hz）和低beta（12.5-20 Hz）频段功率持续衰减，这与结构构建框架（Structure Building Framework）中提出的抑制（alpha）与增强（beta）机制相符，为跨模态（领域通用）的叙事结构构建神经机制提供了电生理学证据。
核心亮点
这项研究首次探索了视觉叙事理解整个轨迹中的结构构建神经关联，为理解超越其组成部分动态的这一认知过程的涌现现象提供了重要基础。通过脑电图（EEG），我们记录了在图形故事理解过程中，随着叙事结构逐步构建而同步随时间变化的神经活动模式。
科学背景
复杂认知功能，如叙事理解，依赖于高阶的动态神经过程。为了理解整体的叙事知识结构如何从顺序呈现的组成部分中涌现，一个神经认知模型必须能够解释在整个故事时间跨度内展开的、相互作用的、时间动态的过程。目前对振荡动态，特别是alpha波段相关性的理解，很大程度上受到关注于使用规范心理学任务进行低水平感觉处理的研究的影响。例如，许多线索提示范式要求参与者在干扰项的背景下注意目标颜色、形状或口语单词。语言范式通常在词级提示句子补全，或在句子级句法变异性的背景下跟踪理解。我们的研究在这些研究基础上，旨在捕捉贯穿叙事结构构建（从开始到结束）的神经功率动态。
在认知科学中，许多解释性模型通过尽可能避开领域特异性来优先考虑效率和适应性。本研究探索视觉领域的叙事理解，以探究针对口头交流故事的实证发现在多大程度上也能在使用视觉叙事时显现。Lê等人（2024）在他们对口头和视觉叙事理解过程中工作记忆和推理的研究中控制了领域特异性效应，发现被广泛认为对语篇理解至关重要的、工作记忆的测量在口头和视觉领域之间存在强相关性。然而，要同时在所有相关维度上匹配口头和视觉叙事的呈现方式是困难的，甚至是不可能的；考虑到它们各自的独特性，我们也不应期望这种对等。
虽然书面和图片刺激都是通过视觉接收的，但阅读所需的线性序列不同于二维视觉场景（无论是否顺序呈现）的评价。这些限制会导致理解相关过程的时间进程出现预期的差异。同样地，在不同时间尺度上呈现的序列模式的处理中存在半球偏侧性。也应该预期存在感觉特异性相互作用；早期视觉处理定位于后部，而早期听觉处理是偏侧化的，语义知识在某些情况下根据视觉特征定位，但在其他情况下则不然。因此，我们预期，核心认知和执行功能的神经关联，而非刺激特异性过程，无论呈现模态如何，在叙事理解的研究中都会是相似的。
迄今为止的研究
迄今为止，只有一项研究考察了视觉叙事理解过程中的振荡功率调节：Coopmans与Cohn（2022）使用脑电图（EEG）研究了视觉叙事序列中的前指和后指参照处理。他们观察到cataphoric和anaphoric面板之间的alpha（8-12 Hz）和gamma（45-65 Hz）功率存在差异，具体而言，anaphoric面板相比cataphoric面板的alpha功率下降更大。迄今为止，尚无研究考察视觉叙事理解全过程中叙事结构构建的振荡动态，亦未将这些动态的变化与认知理论模型联系起来。
我们这项探索性研究参考了对自闭症、创伤性脑损伤、精神分裂症和注意力缺陷多动障碍人群的研究，这些研究揭示了在长程推理和宏观结构连贯性方面的差异。结构构建的这些方面促进了叙事的高效编码或提取，并且可以归入自上而下认知过程这一总范畴。本研究探索了结构构建的神经关联，特别强调自上而下的认知控制。基于对文献的回顾，我们主要考察alpha和beta功率作为认知结构构建的测量指标。这些频率一直与自上而下的过程相关联。通过这种方式，我们的分析有可能产生证据，支持alpha-beta调节是叙事处理背景下认知控制进行结构构建的一种机制。
当结合叙事理解模型（如Gernsbacher的结构构建框架、Cohn的PINS模型、Kintsch的构建-整合理论，以及Wood和Grafman描述的结构化事件复合体的前额叶皮层神经激活）进行解释时，可以预期，alpha-beta衰减的增加将与叙事图式或知识超级结构的构建过程同步。无关信息抑制与知识结构激活的同时增加，在概念上与这些叙事理解模型一致。
尽管我们主要预期alpha和beta波段会出现变化，但我们也使用时间-频率分析（TFA）作为基础，对从theta到gamma的频率范围内的变化进行数据驱动的探索。从文献中尚不清楚有效结构构建所涉及的许多认知构念（例如，Gernsbacher, 1991; Lê等人, 2012）如何映射到五个典型频段的振荡动态上；这个任务对本文来说过于雄心勃勃。尽管如此，时间-频率分析（TFA）的使用使我们能够将叙事结构构建的关联性绘制成一个时间上连续的过程，为我们提供了视觉叙事理解过程中结构构建基础的振荡动态的全面、可产生假设的表示。
结论
这项研究是第一个绘制视觉故事在整个轨迹上的语篇处理过程的研究。通过在视觉叙事理解全过程期间对脑电图（EEG）数据的时间-频率分析，我们观察到视觉叙事理解过程中四个典型频段的非线性功率轨迹。这些动态轨迹共同描述了叙事结构构建和情境模型构建的神经特征，这比从事件相关电位（ERP）或离散单词/面板分析中所能推断出的更为复杂。
