编辑推荐:
不流畅现象(如停顿、填充词“uh”)是自然言语的常见特征,但其在自然聆听条件下如何影响神经层面的词汇加工尚不清楚。为此,研究者利用fMRI技术,探究了在倾听电视剧情叙事复述时,不流畅性对词汇加工努力(以词频和惊讶度衡量)的神经反应的影响。结果显示,不流畅性增强了左颞上回(STG)和左额下回(IFG)对词频的反应,同时降低了左后颞叶对词惊讶度的反应。这表明不流畅性能提示听众即将到来的复杂言语内容,通过分配更多注意力资源来促进语境整合,揭示了自然言语理解中预测性加工的神经机制。
想象一下,在日常对话或收听节目时,说话者时常会出现“呃…(uh)”、“嗯…(uhm)”之类的语气词,或者短暂的停顿。这些言语不流畅性(Disfluencies)并非纯粹的噪音,它们往往预示着说话者即将表达更长、更复杂或更难组织的内容。那么,作为听众,我们的大脑是否以及如何利用这些不流畅信号来调整对后续言语的理解?这是认知神经科学,特别是自然语言处理领域一个有趣且重要的问题。
过往研究多在严格控制的实验条件下,利用眼动追踪(eye-tracking)或脑电图(EEG)等手段探索不流畅性的影响,发现它们能引导听者预期低频词或意外词汇,并可能减少对不可预测词的N400脑电波反应。然而,在更接近真实交流场景的自然主义言语(如叙事、对话)中,不流畅性对词汇在线加工的神经机制究竟如何,仍缺乏来自功能磁共振成像(fMRI)等高空间分辨率技术的证据。为了解决这个问题,并填补神经影像学在自然语言处理研究中的这一空白,Laura Giglio、Peter Hagoort和Eleanor Huizeling三位研究者进行了一项创新的fMRI研究。
研究人员让36名参与者躺在fMRI扫描仪中,聆听一位说话者自发回忆两部电视剧(《梅林传奇》和《神探夏洛克》)剧情内容的录音。这段录音是自然产生的,包含了大量的无声停顿和填充词等不流畅现象。研究者对录音进行了精细的转写和标注,为每个词标注了是否其前存在不流畅性,并计算了包括词长、词频、惊讶度(surprisal,基于GPT-2模型计算的下一个词不可预测性)和熵在内的多种语言学指标。在fMRI数据分析中,他们采用了一种逐词增量建模的方法,将每个词的出现时间及其语言学属性(作为参数调制)与血流动力学响应函数进行卷积,生成预测的大脑活动时间进程,再与实测的fMRI数据进行比较。核心分析旨在探究不流畅性本身对大脑激活的影响,以及不流畅性如何调节词频和惊讶度这两个反映词汇加工努力的关键指标对神经反应的效应。
主要技术方法概述:本研究为回顾性分析,使用了已公开的fMRI数据集(来源:OpenNeuro,编号ds001110)。36名健康参与者聆听自发叙事语音刺激。fMRI数据采集使用3T Siemens Skyra扫描仪。数据分析采用基于SPM12的预处理流程(包括fMRIPrep)和一般线性模型(GLM)。关键分析技术是逐词参数调制fMRI分析,将词出现时间与词频、惊讶度、不流畅性等语言学变量卷积,以建模持续叙事理解中的神经活动。语言学变量通过手动标注和基于GPT-2 XL模型的计算获得。
研究结果
不流畅性在言语中的分布
分析发现,15%的词汇前有无声停顿,10.8%的词汇前有填充词不流畅性。不流畅性更常出现在句首和句子较早位置。更重要的是,不流畅性之后的词汇通常具有更高的惊讶度和熵,这证实了不流畅性确实倾向于出现在言语计划需求更高的位置。
fMRI基线结果
对词汇加工基线预测因子的分析显示,词汇本身、词长、熵等变量主要激活了双侧颞上回(STG)和左额下回(IFG)等经典语言脑区,验证了分析方法的有效性。
不流畅性及其与惊讶度和频率的交互作用
这是本研究的核心发现:
- 1.
不流畅性的主效应:与流利说出的词相比,前面有不流畅性的词引发了双侧颞上回(STG)和颞上沟(STS)更强的激活。
- 2.
词惊讶度的主效应:更高的词惊讶度(即更不可预测)引发了双侧颞上回/颞上沟更强的激活,同时在双侧角回(Angular Gyrus)等区域引起激活降低。
- 3.
词频的主效应:较低的词频(即较不常见的词)在左颞中回(MTG)和左中额叶(MFG)等区域引发了更强的激活。
- 4.
关键交互效应:
- •
不流畅性 × 惊讶度:在左后颞中回/角回的一个脑区集群中,惊讶度对大脑活动的影响在不流畅性之后减弱了。这意味着,当不流畅性出现后,大脑对高惊讶度词汇的反应强烈程度有所降低。
- •
不流畅性 × 词频:在左颞上回和左额下回(包括三角部和岛盖部),词频对大脑活动的影响在不流畅性之后增强了。这表明,不流畅性使得大脑对低频词和高频词的反应差异变得更加明显。
无声与填充不流畅性
将两种不流畅性分开分析发现,它们对后续词汇的加工有相似影响(如增强STG激活),但也存在差异:
- •
无声停顿增强了左额下回的参与,并增强了左颞上回对惊讶度的反应。
- •
填充词不流畅性则倾向于在左角回区域减弱对惊讶度的反应(该效应在多重比较校正后未达到集群水平显著性,但趋势与总体交互效应一致)。
结论与讨论
本研究通过fMRI揭示了在自然叙事理解中,言语不流畅性如何动态调节大脑的词汇加工过程。主要结论是:不流畅性并非单纯的干扰,而是作为一种有效的信号,为听者调整后续语言加工策略提供了线索。
具体而言,不流畅性出现后,大脑在听觉和语言加工核心区域(如颞上回)的总体激活增强,这可能反映了注意资源的募集。更重要的是,不流畅性以不同的方式调节了两个关键的词汇属性:
- 1.
对词惊讶度效应的减弱:不流畅性之后,高惊讶度词汇在左后颞叶/角回区域引发的加工负荷相对降低。这个区域与语义整合和事件结构处理密切相关。该发现与此前EEG研究中观察到的“不流畅性减少不可预测词的N400效应”相呼应,提示不流畅性可能通过分配额外的注意力资源,促进了后续不可预测信息在语境中的整合,使其变得相对“不那么意外”,从而降低了整合难度。
- 2.
对词频效应的增强:不流畅性之后,词汇频率在左颞上回和左额下回引发的神经反应差异增大。左额下回通常与词汇选择和检索等加工相关。这一增强效应可能表明,不流畅性作为一个提示“即将出现表达困难”的信号,使听者做好了处理更复杂词汇(如低频词)的准备,从而在词汇访问层面投入了更多的加工资源。
无声停顿和填充词不流畅性在影响上的部分分离提示,它们可能承载了略有不同的语用或规划信息,未来需要更高时间分辨率的技术(如MEG/EEG)在更长的语料中进行深入探究。
综上所述,这项发表在《Cortex》上的研究首次利用fMRI在自然主义聆听范式中证明,言语中的不流畅性能够系统地调节大脑对词汇频率和可预测性的神经反应。它表明听者的大脑能够灵活利用说话者的不流畅信号,实时调整其预测和加工资源的分配,从而更高效地理解自然、自发的言语。这不仅深化了我们对日常语言理解神经机制的认识,也凸显了在生态效度更高的情境下研究语言处理的重要性。