ESGME：利用大型语言模型从与事件相关的潜在信号中生成隐喻解释

《Neurocomputing》：ESGME: Generating metaphor explanations from event-related potential signals using large language models

隐喻认知与神经解码融合的NLP框架研究

　　

张东宇|廖万秋|李昊佳|林鸿飞

大连理工大学软件学院，中国辽宁省大连市116024

摘要

隐喻在人类认知中起着基础性作用，它涉及通过动态神经过程构建概念映射。然而，当前的自然语言处理（NLP）系统在很大程度上忽视了隐喻产生过程中大脑信号的作用，这限制了它们捕捉基于认知的机制的能力。为了解决这一差距，我们提出了ESGME（ERP-Signal-Guided Metaphor Explanation）框架，该框架将事件相关电位（ERP）记录与大型语言模型（LLM）相结合，以根据神经活动生成隐喻解释。ESGME采用两阶段设计：在第一阶段，训练ERP编码器将ERP信号与目标LLM的语义嵌入空间对齐，使神经表征能够映射到概念层面；在第二阶段，对齐的ERP嵌入作为认知提示，指导LLM生成隐喻解释。该框架还结合了基于文本的引导因素，以在解释生成过程中稳定概念映射。在多个LLM上的实验表明，对齐的ERP信号提供了超出文本提示的有意义的认知信息。这些结果突显了将隐喻相关的神经活动转化为连贯解释文本的可行性，并为连接认知神经科学与生成式NLP开辟了新途径。数据集和代码：https://anonymous.4open.science/r/ESGME-6ECF/。

引言

隐喻是人类认知和交流的基本方面，它使人们能够以相关且易于理解的方式传达复杂抽象的概念[1]、[2]。通过用一个概念来框架另一个概念，隐喻丰富了推理并促进了概念重组，这在行为和认知研究中得到了证明[3]、[4]。例如，“知识是财富”这一隐喻将知识概念化为一种宝贵的资源，强调了其重要性和价值。隐喻的认知处理涉及协调的神经机制，这些机制管理语义整合、解决概念冲突并支持创造性重新解释[5]、[6]。理解这些机制不仅对认知科学很重要，而且对于开发能够模拟人类概念映射的计算系统也很重要。

实证证据进一步支持了隐喻产生的神经基础。[7]、[8]、[9]报告称，ERP成分如P200、N400、晚期正电位和晚期负电位（LN）对应于隐喻产生和理解的不同处理阶段：早期注意（P200）、语义检索（N400）、晚期评估过程（晚期正电位）以及持续的语义整合或重新分析（LN）。理论模型，如谓词模型[10]、[11]，提出隐喻处理——无论是理解还是产生——都涉及激活相关属性同时抑制不相关的属性。神经影像学研究[12]、[13]、[14]表明，在左角回和中额回等区域存在重叠的神经激活，这表明语义检索和整合有共同的机制。这些发现意味着隐喻产生并非独立于理解；相反，两者都利用共同的认知和神经资源来构建和整合概念映射。

使用事件相关电位（ERP）的神经科学研究为比喻语言处理的时间动态提供了宝贵的见解。ERP成分如晚期负电位（LN）——在比喻和新颖隐喻处理过程中经常观察到，并与后期语义评估相关[15]、[16]、[17]、[18]；N400与语义冲突和整合难度相关；以及LPC，反映了概念重新分析和评估处理[19]，提供了大脑如何处理语义抽象的关键标志。尽管一些研究报道了与早期注意反应相关的P200效应[20]、[21]、[22]，但在隐喻研究中的发现仍然不一致。重要的是，大多数ERP发现与隐喻理解相关，而隐喻产生的神经动态则基本未被探索。

为了研究个体如何构建隐喻映射，本研究采用了隐喻产生任务。与评估人们如何解释现有表达的理解任务不同，隐喻产生要求参与者主动创建概念映射（“A是B”），揭示了创造性隐喻形成背后的语义-执行过程[23]、[24]、[25]。神经科学证据进一步表明，隐喻和创造性产生激活了如背内侧前额叶皮层和后扣带回皮层等大脑区域——这些区域在理解过程中参与较少[13]、[14]。因此，关注隐喻产生可以直接获取与概念映射相关的神经特征，而不是解释现有的隐喻。

当代NLP系统，特别是大型语言模型（LLM），表现出强大的生成能力，但主要依赖文本统计来处理隐喻[26]、[27]。由于缺乏对人类神经活动的理解，这些系统无法访问隐喻产生过程中涉及的认知机制，并且难以模拟人类用于构建隐喻的概念融合过程。虽然之前的尝试将神经科学与NLP联系起来主要集中在字面语言理解或其他受限任务上[28]、[29]，但将隐喻相关的神经信号与基于LLM的生成相结合仍然基本上未被探索。

为了解决这一差距，我们提出了ESGME框架，该框架将ERP信号与大型语言模型相结合，根据隐喻产生过程中记录的神经活动生成隐喻解释。招募了60名参与者，其中55名产生隐喻表达的参与者的ERP数据被纳入分析，而不是评估现有的隐喻。ERP信号具有毫秒级的时间精度，能够捕捉启动概念映射的早期神经反应。所提出的框架包括两个阶段：（1）训练ERP编码器将ERP表征与目标LLM的语义嵌入空间对齐；（2）使用对齐的ERP嵌入作为生成隐喻解释的认知提示。结合基于文本的引导因素进一步稳定了ERP衍生信号与预期概念关系之间的映射。与之前专注于字面重建或一般认知状态的EEG解码框架不同，ESGME专门针对隐喻产生，并生成基于参与者神经活动的可解释解释。

本研究的贡献如下：

•

我们收集了60名参与隐喻产生的参与者的ERP数据，其中55名参与者被纳入最终分析，创建了一个数据集，该数据集将神经信号、参与者生成的隐喻和通过参与者评分验证的模型生成的解释配对。这一资源支持未来关于隐喻和神经解码的跨学科研究。

•

我们提出了ESGME框架，该框架将ERP信号与微调后的LLM相结合，从神经活动中解码和生成隐喻解释。这种方法提供了一种使用神经信号建模概念映射的新方法，并将认知神经科学与生成式NLP联系起来。

•

广泛的实验表明，结合ERP信号可以提高生成隐喻解释的可解释性和认知一致性。微调后的LLM有效利用ERP信号提高概念映射的准确性，并生成与人类认知一致的解释，为未来基于大脑信息的NLP和隐喻产生研究建立了基准。

部分片段

生理信号数据

近年来，将生理信号——特别是脑电图（EEG）——整合到自然语言处理（NLP）中取得了显著进展。诸如ZuCo 2.0[30]这样的数据集提供了在自然阅读过程中记录的EEG和眼动数据，以及MOABB[31]，这是一个包含各种BCI（脑-计算机接口）任务的大规模EEG数据存储库，促进了关于认知负荷、语义理解和句法处理的研究。

然而，大多数现有的

参与者

本研究得到了机构审查委员会的批准。从60名年龄在18至29岁之间的中国大学生中记录了ERP信号。参与者的平均年龄为23.33岁（标准差=2.40），性别分布均匀（30名女性和30名男性），所有参与者都报告视力正常或矫正后正常。所有参与者都是通过校园广告自愿招募的，并在实验前提供了书面知情同意书。他们获得了

框架定义

所提出的ESGME框架采用了两阶段神经到语言的生成方法，利用隐喻产生过程中记录的ERP信号生成与参与者概念映射对齐的隐喻解释。

ERP信号捕捉到反映隐喻关联构建的早期神经活动，然后将其与相应的隐喻句子及其解释联系起来。该框架包括一个ERP编码器来提取神经嵌入，随后

实验

我们将提出的ESGME框架应用于隐喻产生任务的数据。该框架利用隐喻产生过程中记录的ERP信号生成描述参与者创建的隐喻背后的概念映射的隐喻解释。这个实验证明了通过神经到语言框架解码与概念映射相关的神经活动并生成文本解释的可行性，从而架起了神经科学和认知建模之间的桥梁。

结果

表2全面比较了不同模型和配置的评估指标。结果表明，标记为“all”的ESGME方法在Mistral-7B-v0.3、Qwen2.5-7B和LLaMA3.1-8B的大多数评估指标上表现更优。正如预期的那样，基线和“no_stage1”配置的表现相对较弱，进一步突显了完整ESGME框架的有效性。

讨论

ESGME框架将隐喻产生过程中记录的ERP信号与大型语言模型（LLM）相结合，为参与者创建的隐喻生成解释。通过结合神经和文本输入，ESGME旨在近似参与者在隐喻构建中的潜在概念映射。两阶段方法——首先提取ERP嵌入并将其与文本嵌入对齐，然后微调LLM以生成解释——提高了隐喻的质量

结论

本文介绍了ESGME框架，这是一种神经到语言的生成方法，它将隐喻产生过程中记录的ERP信号与大型语言模型相结合，为参与者创建的隐喻生成解释。通过提取ERP嵌入并将其与文本表示对齐，该框架使LLM能够生成准确反映神经活动中编码的概念映射的隐喻解释。实验结果证明了

CRediT作者贡献声明

张东宇：写作——审稿与编辑、撰写初稿、资源获取、方法论、调查、资金获取、概念化。廖万秋：写作——审稿与编辑、撰写初稿、方法论、调查、形式分析。李昊佳：写作——审稿与编辑、资源获取、调查。林鸿飞：写作——审稿与编辑、监督、方法论。

资助

本工作得到了国家语言委员会重点计划[授权号ZDI145-80]和中国国家自然科学基金（NSFC）[授权号62076051]的支持。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

张东宇获得了英国莱斯特大学的应用语言学硕士学位；以及中国大连理工大学的博士学位。她目前是中国大连理工大学的全职教授。她的研究兴趣包括自然语言处理、情感分析和社交计算。她是计算语言学协会和中国人工智能协会的成员。