选择性注意与视听整合的博弈：跨模态时间一致性如何独立或协同地调制竞争性视觉场景处理

《NeuroImage》：Temporally congruent auditory stream modulates visual processing both independently of and interactively with selective attention in a competing scenario

在竞争性视觉环境中，选择性注意和视听相互作用都能促进视觉处理，但二者的影响是独立还是交互作用仍存争议。为此，研究人员采用脑电图(EEG)和频率标记技术，让被试选择性注意一个侧向闪烁并形状变化的圆盘，同时呈现音高与其形状变化在时间上一致或不一致的声音。研究发现，在节奏性视听刺激下，与时间一致性相关的视觉特征（形状调制）的神经响应受注意和听觉影响相互独立，而无关的特征（闪烁）的响应则表现出交互作用。该研究揭示了一种灵活而复杂的机制，为理解“鸡尾酒会”等复杂场景下的信息加工提供了新见解。

　　

置身于嘈杂的“鸡尾酒会”，你却能自如地聚焦于眼前人的谈话，同时忽略背景的喧嚣。这背后，选择性注意和来自说话者唇部动作的视觉线索，共同为我们的大脑理解语音提供了强大助力。然而，在这样一个多感官、多目标竞争的复杂环境中，大脑究竟如何协调处理这些信息？特别是，一个在时间上与视觉变化同步的声音信号，是“一视同仁”地增强所有视觉信息，还是会“偏心”地优先处理我们正关注的目标？这个问题，正是选择性注意与视听整合两大认知神经科学核心领域交汇处的未解之谜。

已有研究对此给出了看似矛盾的答案。一部分证据表明，时间上同步的声音能够平等地增强大脑对视野中所有相关视觉刺激的响应，无论它们是否被注意，仿佛听觉的影响独立于注意力之外。而另一些研究则发现，这种跨模态增益效果强烈依赖于注意力，只有被关注的视觉信息才能得到听觉的“加持”。此外，刺激的时间结构（是规律节奏还是杂乱无章）以及所处理的视觉特征本身（是与声音同步变化的核心特征，还是与之无关的伴随特征），都可能扮演着关键但常被忽视的角色。为了厘清这些复杂关系，中国科学院心理研究所的Jieru Chen、Wenjie Liu、Shiqi Tan、Xiangyong Yuan和Yi Jiang等研究人员在《NeuroImage》上发表了一项研究，利用高时间分辨率的脑电图(EEG)和精妙的实验设计，深入探究了在竞争性视觉场景中，时间一致的听觉流如何独立于或与选择性注意交互地调制视觉加工。

研究者采用了频率标记(SSVEP)技术，这是一种能够无创、持续追踪大脑对特定频率刺激响应的方法。他们设计了两个并排的视觉圆盘，一个以12 Hz频率闪烁，另一个以15 Hz频率闪烁，同时它们的形状分别以2.07 Hz和2.61 Hz的固定频率（节奏性条件）或在2.31 Hz附近随机变化（非节奏性条件）在圆形和椭圆间规律变化。一个音高变化的声音随之呈现，其音高变化的节奏要么与其中一个圆盘的形状变化同步（一致条件），要么与另一个同步（不一致条件）。被试的任务是集中注意力于被线索指示的一个圆盘（“注意侧”），并忽略另一个（“非注意侧”），同时需要对偶尔出现在注意目标上的亮度减弱事件（视觉偏差）做出快速按键反应。通过分析大脑枕叶和顶叶区域对不同闪烁频率和形状调制频率的稳态视觉诱发电位(SSVEP)和试次间相位一致性(ITC)，研究团队得以同时、独立地考察大脑对“与视听时间一致性相关的视觉特征”（形状变化）和“与之正交的视觉特征”（亮度闪烁）的处理。

行为结果：在节奏性条件下，当声音与注意侧视觉流在时间上一致时，被试对视觉目标（亮度减弱）的反应时显著短于不一致条件。而在非节奏性条件下，这种一致性带来的反应时优势完全消失。这表明，视听时间一致性对注意视觉流的加工促进作用，依赖于刺激的节律性结构。

事件相关电位结果：早期的视觉诱发电位成分（P1, N1）表现出典型的注意调制效应（注意侧对侧大脑半球的响应强于同侧），但未受到声音是否与注意目标一致的任何影响。这提示，跨模态整合的影响需要一定时间才能显现，不会在刺激呈现的初始阶段发生。

稳态视觉诱发电位结果：在节奏性条件下，对于与视听一致性正交的特征（闪烁），注意和听觉一致性存在显著的交互作用。具体而言，一个时间一致的声音选择性地增强了注意侧视觉流的闪烁诱发的SSVEP，而对非注意侧的SSVEP没有影响。也就是说，听觉的“增益”效应是“偏心的”，只作用于被主动关注的视觉目标。然而，对于与视听一致性直接相关的特征（形状调制，特别是其二次谐波），注意和听觉一致性的影响则是相互独立的。选择性注意显著增强了形状调制诱发的SSVEP，同时，一个时间一致的声音也普遍增强了所有（无论注意与否）形状调制诱发的SSVEP。这两种效应简单相加，没有交互。在非节奏性条件下，无论对闪烁还是形状调制，都未观察到任何显著的听觉一致性效应。

试次间相位一致性结果：对神经响应相位稳定性的分析得到了与SSVEP功率高度一致的模式，进一步证实了上述发现的可靠性。

关联分析：研究还发现，在节奏性条件下，行为上反应时因视听一致而缩短的程度（一致性效应），与神经指标上注意侧相对于非注意侧从一致性中获益的程度（神经一致性效应差值）呈正相关。这意味着，大脑神经响应中表现出来的、对注意目标的“偏心”增强，直接预测了个体在行为任务上获得的速度优势。

综合所有结果，本研究得出了清晰而富有层次的结论：在竞争性的视听环境中，一个时间上同步的听觉流对视觉加工的调制方式并非单一固定，而是展现出灵活性与复杂性。它取决于所处理的视觉特征属性和刺激的时间结构。具体而言：

1. 1.
   对于定义视听时间一致性的核心视觉特征（如本研究中与音高同步的形状变化），听觉的增强效应在很大程度上独立于选择性注意。注意和跨模态整合各自为政，并行不悖地提升大脑对这些特征的追踪。
2. 2.
   对于与视听一致性无关的伴随性视觉特征（如本研究中的亮度闪烁），听觉的调制则与选择性注意发生交互。此时，听觉的“增益”变得具有选择性，它像一个“放大器”，只聚焦于被主动关注的视觉信息流，从而可能通过增强目标显著性来优化注意资源分配。
3. 3.
   上述所有跨模态一致性效应强烈依赖于刺激的节律性。只有在具有规律时间结构的视听流中，同步的声音才能发挥其调制作用；一旦时间结构变得随机、不可预测，这种跨模态整合的益处便不复存在。

这项研究的重要科学意义在于，它首次在同一实验框架内，清晰地将听觉对视觉加工的影响依据特征相关性分解为“独立于注意”和“与注意交互”两种模式，并明确了节律性的前提作用。这不仅调和了先前研究中关于注意与多感觉整合关系的矛盾发现，也为理解真实世界中（如“鸡尾酒会”、交通路况、多媒体交互等）复杂、动态的跨模态信息处理提供了更精细的神经机制模型。它提示我们，大脑在面对多感官信息洪流时，可能采用了一套高度灵活、特征特异且依赖情境的策略来优化信息获取，这对于开发基于多感官整合的认知增强技术、人机交互界面以及理解相关精神障碍（如自闭症谱系障碍、精神分裂症中常见的多感觉整合异常）具有重要的理论和应用价值。