《Cortex》：Disentangling Hierarchical and Sequential Computations during Sentence Processing
编辑推荐：
句子处理中层次化与序列化机制的神经证据研究，通过联合MEG/EEG实验发现人类大脑以层次化处理为主导，对序列效应不敏感，与人工语言模型存在差异。
Christos-Nikolaos Zacharopoulos | Stanislas Dehaene | Yair Lakretz
认知神经成像组，NeuroSpin中心，91191，Gif-sur-Yvette，法国
摘要
自然语言中的句子具有层次结构，可以用嵌套树的形式来描述。为了构建句子的意义，人脑需要将连续的词语链接成复杂的句法结构。然而，这种层次结构处理可能与一种更简单、更浅层、可能在进化上更古老的机制共存，这种机制用于局部的、逐词的顺序处理。事实上，心理语言学的经典研究表明存在这种非层次处理方式，它可能会干扰层次处理并导致人类在处理句子时出现错误。在这里，我们进行了一项结合了脑磁图（magnetoencephalography, MEG）和脑电图（electroencephalography, EEG）的实验，以研究人类大脑在处理句子时的层次处理与顺序处理过程。我们研究了这两种过程是否具有不同的神经特征。我们的结果显示，与顺序处理相比，层次处理在人脑中占据主导地位，这表明人类处理句子的方式与非语言项目序列的处理方式存在显著差异。这表明，一旦词语进入语言系统，计算过程就主要依赖于基于结构的处理，并且对顺序效应具有很强的抵抗力。
引言
语言学中的一个核心问题涉及语言结构的本质及其处理方式。根据生成语法（generative linguistics）的观点，语言处理是通过人类特有的能力实现的，这种能力可以将连续输入的词语在心理上转化为层次树结构。然而，也有人认为顺序结构具有很强的解释力，而且在语言使用中往往不涉及层次处理（5）。根据这种观点，语言能力并不依赖于处理层次结构的先天能力，而是通过一个过程获得的，在这个过程中，儿童通过逐渐从顺序转换概率中抽象出来，建立起越来越复杂的结构库（6, 7）。
然而，层次结构在语言中的普遍性已在许多语言现象的分析中得到证实，例如搭配（binding）（8）、疑问句构造（9）、语言习得（10, 11）、韵律（12）和音系学（13, 14）。神经成像研究进一步支持了层次结构的观点，表明人类大脑特定区域的神经活动对句子的层次结构非常敏感（例如，15, 16, 17, 18, 19, 20, 21, 22）。这些研究共同提供了几乎无可争议的证据，证明人类具有类似嵌套树的表示方式，使得层次结构观点目前在语言学领域占主导地位。
然而，层次结构处理可能与一种更简单、更浅层、可能在进化上更古老的机制共存，这种机制用于局部的、逐词的预测。实际上，在处理非语言项目序列时已经发现了两种不同机制的共存（23, 24, 25, 26, 27, 28, 29）。Bekinschtein等人（23）使用“局部-全局范式”（Local-Global Paradigm，一种变体的奇异听觉范式）表明，基于转换的（局部）处理可以与基于块状的（全局）处理区分开来，每种处理在不同的大脑区域和不同时间点引发不同的违规信号（30, 31, 32, 33, 34, 35）。具体来说，在处理像“aaaab”这样的序列时（其中“a”和“b”是两个不同的听觉刺激），即使整个序列“aaaab”已经被完全预期，最终的“b”刺激仍然会引发不匹配信号，因为它偏离了局部重复模式“aaaa”。在这里，我们探讨这种局部转换效应是否也存在于自然语言处理中。
在人工神经语言模型中，已经证明这种浅层转换机制与更深层次的结构机制共存。Lakretz等人（36, 37）表明，在训练过程中，神经语言模型发展出两种处理词语依赖关系的机制。一种机制对句子的潜在层次句法结构敏感，因此能够计算长距离的依赖关系；而另一种机制仅对词语之间的局部顺序转换敏感，因此与结构无关。
那么，在人类自然语言处理中，这两种机制是否也共存呢？心理语言学的经典研究表明，在处理长距离一致性时存在困难。许多行为研究表明，人类至少部分受到局部效应的影响，这些效应会干扰句子的更高层次的层次处理。在一项经典研究中，Bock和Miller（38）发现，人类参与者在处理诸如（1）这样的句子时经常犯长距离一致性错误：
(1)靠近girls的boy喜欢Det< />< />< />
在这个例子中，主要名词（‘boy’）和嵌入名词（‘girls’）的数量不同（一个是单数，另一个是复数）。这样的不一致句子比两个名词一致时更容易出错（例如，都是单数）。这种行为上的不一致效应在许多不同句法结构的研究中得到了复制（例如，39, 40, 41, 42, 43）。
在这里，我们使用脑磁图（MEG）和脑电图（EEG）研究了这两种机制的共存可能性。如果我们依赖于人工语言模型的提示以及之前使用非语言听觉刺激的局部-全局范式的研究，那么我们期望找到浅层和深层预测编码信号的神经证据。相反，如果语言处理完全基于层次机制，那么我们期望只找到层次处理的神经证据。
为了验证这些假设，我们设计了一个2×2的实验，其中局部转换和长距离一致性关系被独立地操纵和违反。我们记录了人类参与者（n = 22，结合了脑磁图和脑电图；MEG & EEG）以及一个神经语言模型的神经活动，并研究了这两种层次的神经特征是否可以区分开来。在这两种情况下，我们都使用了时间分辨的多变量解码技术（32）来探测长距离和局部机制的存在。
根据预期，在人工语言模型中，我们发现了两种不同的神经效应，这对应于长距离和局部机制的共存，这与我们之前的结果一致（36, 37）。然而，在人类大脑信号中，只发现了与句子层次结构相关的主效应。虽然这种效应受到名词-名词一致性的影响，但没有发现任何反映局部顺序效应的脑信号。这些发现表明，与听觉刺激的低级处理不同，在句子处理中，一旦词语进入语言系统，计算过程主要由基于结构的处理主导，并且对顺序效应具有很强的抵抗力。
方法
共有22名视力正常或矫正至正常的参与者参与了脑磁图（MEG）和脑电图（EEG）实验。参与者的数量基于之前的主谓一致实验（44），这些实验表明平均23.3名参与者就足以检测到主谓一致性的违规情况，也有少数研究报告的参与者数量少于15人。根据Molinaro等人（45）的研究，进行一致性研究所需的参与者数量是
结果
我们首先展示了实验的行为结果，基于参与者在强制选择、违规检测任务中的表现（图1B）。然后，我们以时间分辨的方式展示了设计中主要效应的分类结果，包括人类（MEG & EEG）和人工语言模型。
讨论
人类语言处理需要处理以嵌套树结构形式存在的层次表示。由于在语言学、心理语言学和神经科学的广泛研究中都证明了这种表示的存在，因此几乎可以肯定人类具有这种表示能力。然而，在线语言处理也可能涉及其他与层次结构无关的、更浅层的处理过程，这些过程受到一般认知约束的影响。
我们重点关注了长距离的主谓一致性问题
科学透明度声明
设计：本文报告了所有研究中作者如何确定样本大小和所有数据
CRediT作者贡献声明
Stanislas Dehaene：撰写 – 审稿与编辑，撰写 – 原稿，验证，监督，项目管理，方法论，资金获取，概念化。Christos Zacharopoulos：撰写 – 原稿，可视化，软件，方法论，数据管理，概念化。Yair Lakretz：撰写 – 审稿与编辑，撰写 – 原稿，验证，监督，软件，项目管理，方法论，概念化
未引用的参考文献
15.; 16.; 17.; 18.; 19.; 22.; 39.; 41.; 42.; 61.; 67.; 68.; 69.; 70.; 71.; 72.
数据和代码的可用性
支持这项研究的数据和代码可应要求提供。
利益冲突声明
作者声明没有利益冲突。
致谢
作者感谢Christophe Pallier、Théo Desbordes、Jean-Rémi King和Luigi Rizzi对这项工作的有益讨论和反馈。我们还要感谢Fosca Al Roumi、Leila Azizi以及ICM的MEG团队在数据采集方面提供的帮助。这项工作得到了INSERM、CEA、法国高等师范学院（Collège de France）、Bettencourt-Schueller基金会以及ERC的资助，“NeuroSyntax”项目的支持。
