在轮流对话中,时间预期起着关键作用:韵律线索调节着对话中轮次结束预测的行为和神经特征
《Brain and Language》:Temporal expectation in turn-taking: prosodic cues modulate behavioral and neural signatures of turn-end prediction in conversation
【字体:
大
中
小
】
时间:2026年02月06日
来源:Brain and Language 2.3
编辑推荐:
对话轮次预测中语调上下文的作用及脑电机制研究。通过交叉剪辑生成不同语调上下文长度的句子,要求被试在特定提示音后即时复述请求物品。研究发现,提示音与语调上下文不一致时,N2波幅更负、P3波幅更低,且长语调上下文导致晚期正波(LP)波幅下降。单 trial 分析显示,LP波幅与反应时呈负相关,且语调上下文长度调节P3波幅与反应时关系。表明被试通过整合事件型(提示音)和间隔型(语调上下文)信号构建时间结构,并激活基底神经节等脑区支持轮次规划。
本研究通过脑电实验探讨对话轮次转换中的神经机制,重点解析说话者如何利用韵律信息(prosodic context)预测对话轮次结束,并整合事件型与间隔型时间线索规划回应。研究团队通过跨拼接技术生成不同韵律语境的句子,要求参与者听到提示音后即时说出指定物品,并采集EEG信号分析神经响应模式。
研究背景指出,对话轮次转换存在约200毫秒的快速间隔,远低于常规命名任务所需的600毫秒准备时间。这暗示说话者在当前轮次结束时已开始预判下一个回应的时机,而传统研究多聚焦于被动预测他人轮次结束,缺乏对主动回应规划的考察。特别是B?gels等学者通过替换句子末尾词验证了韵律边界(如音调、时长)对轮次预测的关键作用,但存在实验材料单一(仅使用疑问句)、未考察回应启动的神经机制等问题。
实验采用混合设计,通过cross-splicing技术构建四类句子:
1. 原始短句(如"拿给我NP1")
2. 原始长句(如"拿给我NP1边上的NP2")
3. 长句前半部分替换为短句的跨拼接句
4. 短句后半部分替换为长句的跨拼接句
这种设计有效控制了句子长度变量,通过替换相同语义但不同时长的前半部分(短韵律语境)和后半部分(长韵律语境),确保实验组在物理长度上与对照组无显著差异。例如在长句"拿给我NP1边上的NP2"中,将前半句"拿给我NP1"替换为另一句"拿给我NP2"的前半部分,形成跨拼接长句,同时保持总时长不变。
被试者采用EEG记录结合语音回应任务,关键创新在于:
1. 同时监测预测行为(N2/P3成分)与回应启动(LP成分)
2. 引入双模态时间线索(韵律语境+提示音)
3. 使用单 trail分析揭示神经信号与反应时动态关联
主要发现显示:
- 提示音引发N2波幅更负(-8.32μV vs -6.15μV)和P3波幅更低(4.76μV vs 5.89μV)的冲突模式,当提示音与韵律预测不一致时(如韵律预期轮次结束在句中,但提示音出现在句尾)
- 韵律语境长度影响晚期正波(LP),短语境组LP波幅降低23.6%(p<0.001),与更长的反应时存在显著负相关(r=-0.41,p=0.007)
- P3成分与反应时存在双路径调节:在短语境下,P3波幅每增加1μV使反应时缩短15ms(β=-0.83,p=0.002),但在长语境下调节效应消失(β=0.12,p=0.47)
这些发现支持"双通道时间预测系统"理论:大脑通过事件型线索(如提示音)和间隔型线索(如韵律节奏)构建双重时间框架。短韵律语境(对应原长句前半部分)能激活前额叶皮层(BA46)与顶叶联合区(POC),形成精确到200ms的预测窗口;而长韵律语境(原长句后半部分)主要激活听觉皮层(HFC)进行全局时序整合。
研究首次揭示韵律语境对回应启动的双重作用:在短语境下,P3成分反映预测冲突处理(N2-P3耦合度达0.67),促使被试在400-600ms窗口内启动语音生成;在长语境下,前扣带回皮层(ACC)激活增强(ΔμV=2.13),显示被试通过认知重评机制调整预测模型。ERP成分的时序特征显示,N2成分(120-180ms)主要反映韵律边界预测,而P3成分(250-350ms)则涉及语义整合与发音规划。
该研究对对话系统设计具有重要启示:在构建自然语言处理中的对话轮次管理系统时,需同时考虑韵律模式的时间分布特性(事件型线索)和整体节奏特征(间隔型线索)。实验中发现的LP成分与反应时负相关(r=-0.39,p=0.011)表明,当韵律预测与提示音存在较大时间差(>300ms)时,前额叶网络会启动补偿机制延长准备时间。
研究存在的局限包括:被试均为母语者且年龄集中在19-26岁区间,可能影响结果普适性;EEG信号未结合眼动追踪,难以精确定位注意力分配机制;跨拼接技术可能改变句法结构,建议后续采用基于深度学习的句法保持型拼接方法。这些发现为理解人机对话中的时序同步提供了神经科学依据,特别是对开发具有韵律感知能力的对话AI系统具有重要参考价值。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号