《Behavioural Brain Research》：Anodal HD-tDCS of vmPFC Facilitates Learning of Monosemous and Polysemous Words: A Computational Modeling Study
编辑推荐：
本研究通过结合人工伪词和概率性反转学习范式，利用高分辨率经颅直流电刺激（HD-tDCS）探究前额叶皮层（vmPFC）在词汇习得中的作用。结果显示，阳极HD-tDCS增强反馈整合能力，提升多义词学习效率，并强化前额叶-基底节网络连接，验证了强化学习机制在语言学习中的关键作用。
周玉峰|葛芳辉|张薇薇|吕梦杰|约翰·W·施维特|刘欢欢
辽宁师范大学心理与脑科学研究所，中国大连116029
摘要
词汇学习要求学习者在符号和意义之间建立稳定的映射关系。强化学习（RL）原理通过基于反馈的价值计算，为这种映射关系提供了一个有力的框架，其中腹内侧前额叶皮层（vmPFC）在基于价值的学习和决策中起着关键作用。在这项研究中，我们将人工伪词与概率反转学习范式相结合，并对vmPFC进行了高清晰度经颅直流电刺激（HD-tDCS），以探讨其在词汇习得中的作用。计算建模显示，阳极HD-tDCS有助于更稳定地整合反馈信息并提高选择一致性。参数化fMRI进一步表明，对于单义词，壳核和后中央回的价值编码得到了增强，同时前额叶-纹状体连接也得到了加强，这有助于多义词的习得。总体而言，这些发现表明，对vmPFC进行阳极HD-tDCS结合RL机制，可以有效促进词汇习得，从而加深了我们对语言学习神经基础的理解。
引言
词汇学习是第二语言（L2）习得的基本组成部分[1]，学习者不仅需要掌握单义词与其意义之间的一一对应关系，还需要掌握多义词的多重意义，并在各种语境中正确使用它们[2]。与相对简单的单义词学习过程相比，多义词固有的复杂性和不确定性显著增加了学习过程中的认知负荷[3]、[4]、[5]，从而使得词汇习得变得更加困难。强化学习利用基于反馈的决策优化机制，为研究词汇学习的动态过程提供了有力的工具。在本研究中，我们将强化学习原理与对腹内侧前额叶皮层（vmPFC）的高清晰度经颅直流电刺激（HD-tDCS）相结合——vmPFC是价值计算的关键区域[6]——来探讨学习者如何在动态变化的环境中通过基于反馈的价值更新来建立和更新符号-语义映射。
在自然语言交流中，学习者通过不断的尝试和错误以及外部反馈（例如他人的纠正、社会认可或对意义的正确理解）[7]、[8]，逐渐优化词汇的使用并构建稳定的词汇表征[7]、[8]。这一过程表明，学习者必须建立语言符号与其意义之间的稳定映射关系，这依赖于反馈信号的有效利用[9]。强化学习理论以反馈驱动的价值更新和策略形成为中心[10]，有助于解释个体如何在不确定的环境中积累经验和优化决策[11]、[12]。因此，将词汇习得置于强化学习框架内，不仅为研究语言学习的适应性调整提供了理论依据，也为建模其潜在机制提供了方法论基础。
在强化学习模型中，两个核心参数有效地描述了代理的学习和决策过程。一个是学习率（α），它反映了代理依赖新反馈来更新现有价值表征的程度——即对特定选择或行动潜在奖励的主观预期[13]。较高的学习率表明学习者更倾向于快速整合新信息，但也更容易受到噪声或临时波动的影响。较低的学习率表明学习者更新更为保守，依赖于长期积累的经验。第二个参数是逆温度（τ），它表征了个体在做决策时的确定性[14]。当代理基于价值差异做出稳定、策略性的选择时，逆温度值较大；而较小的值则表明决策更具探索性和随机性。通过这两个参数，可以揭示语言学习任务中的学习者是依赖快速反馈调整还是长期积累的经验，从而为理解学习复杂词汇所涉及的认知机制提供了定量工具。
在神经层面上，双系统理论为解释由词汇难度引起的学习差异提供了重要的视角[15]、[16]。该理论认为，人类的学习和决策依赖于两个不同但相互作用的系统[17]、[18]。一个是快速的、自动的习惯系统，它依赖于基底节等皮下结构。该系统支持自动化的基于奖励的学习，并在稳定条件下快速建立符号-语义关联。另一个是缓慢的、精确的控制系统，它依赖于更高层次的认知网络，包括前额叶皮层，负责灵活的调节和策略调整。这个精确控制系统在复杂和模糊的情境中起着关键作用，通过整合反馈信息并灵活调整策略来促进新规则的学习[19]、[20]。
vmPFC作为控制系统中的关键节点，被认为在强化学习过程中的价值表示和价值更新中起着核心作用[21]。在决策和学习中，vmPFC整合环境反馈和长期价值信息，形成稳定的价值映射，从而指导策略选择和行为调整[22]。此外，vmPFC不仅参与基于奖励预测误差的价值更新；它还与基底节形成互补电路，共同支持从快速、显性的规则学习向缓慢、隐性的习惯的过渡[17]、[23]。这些功能帮助学习者掌握词汇规则，并优化词汇项与其意义之间的映射策略。
鉴于vmPFC在强化学习和价值更新中的关键作用[24]，在本研究中，我们对vmPFC进行了HD-tDCS处理，以在概率反转学习范式下针对这一脑区进行调节[25]。治疗方案包括阳极（a-tDCS）、阴极（c-tDCS）和假刺激（sham）组。基于强化学习原理，我们探讨了学习者如何在不确定的情境中根据反馈灵活建立符号-语义映射，从而阐明词汇学习背后的认知和神经机制。为了避免先前语言知识的干扰[26]，我们创建了单义或多义的伪词。通过操纵词汇难度，我们进一步探讨了规则学习的习惯系统和控制系统的角色。这两种系统在学习不同类型的词时可能发挥不同的作用。习惯系统可以通过重复经验逐渐巩固词与意义之间的单一映射[27]。这种机制特别适合学习单义词，因为学习者可以依靠经验的逐步积累来高效学习词义。多义词由于其意义依赖于语境，要求学习者不仅整合反馈信息，还要抑制、选择并在多种意义之间灵活切换。这些过程可能高度依赖于位于前额叶皮层的控制系统[28]、[29]。
基于强化学习原理和双系统理论，我们提出以下假设：HD-tDCS将改变大脑连接模式，从而改善词汇学习。我们预计，与假刺激组相比，阳极刺激将提高对奖励的敏感性，表现为更高的逆温度，从而提高学习表现；而阴极组可能不会改善甚至可能表现下降。此外，由于HD-tDCS直接作用于vmPFC，其调节效果预计对多义词的学习影响更大，因为多义词的学习在很大程度上依赖于控制系统。具体来说，我们假设阳极刺激将增强vmPFC的兴奋性，从而增加学习者对反馈的利用，促进多义词的学习，表现为更高的学习率。相反，我们预计阴极刺激将抑制vmPFC的兴奋性，降低反馈处理的效率，从而损害多义词的学习，表现为更低的学习率。最后，由于单义词的学习主要依赖于习惯系统，我们预计它受HD-tDCS的影响较小或不受影响。
部分摘录
参与者
根据主要行为结果指标（学习准确性），使用G?Power 3.1分析[30]估计所需样本量为54。我们预期刺激组×词类型之间的关键交互作用具有中等效应大小（f =.25），遵循Cohen[31]的惯例和之前的tDCS研究[32]。设置如下：F-检验 > ANOVA：重复测量，组内-组间交互作用，效应大小f =.25，ɑ错误概率 =.05，重复测量之间的相关性 =.5，功效
模型结果：DU-2α-2τ模型显示，a-tDCS提高了学习表现（较低的α和较高的τ），而c-tDCS则选择性地损害了多义词的学习（较低的αpoly）
如图2A所示，我们将所有三个数据集拟合到上述六个模型中。对于每个数据集，我们比较了六个模型的WAIC值（最低值表示该数据集表现最好的模型）。总体而言，DU模型在所有三个数据集中的表现都优于SU模型。所有三组的最佳模型是DU-2α-2τ。该模型包括两个学习率（词类型影响学习率：αmono和αpoly），两个逆温度（词类型
讨论
本研究结合了概率反转学习、强化学习建模、HD-tDCS和神经成像技术，系统地研究了单义词和多义词伪词学习中的认知策略和神经机制。实验结果表明，与假刺激相比，阳极HD-tDCS显著提高了学习表现，建模参数显示学习率较低，逆温度较高。相比之下，
结论
本研究整合了来自神经调节、计算建模和神经成像的证据，系统地研究了基于反馈的强化学习机制在单义词和多义词习得中的作用。HD-tDCS的研究结果表明，vmPFC的可塑性直接影响了学习效率和策略选择。具体来说，阳极刺激增强了前额叶皮层和基底节之间的连接性，改善了学习结果，同时
资助
本研究得到了国家自然科学基金一般项目（32371089）、大连市科技创新星基金（2020RQ055）以及辽宁师范大学科研创新团队的支持。
CRediT作者贡献声明
周玉峰：撰写——原始草稿、可视化、方法论、调查、正式分析。葛芳辉：可视化、方法论、正式分析。张薇薇：方法论、正式分析。吕梦杰：方法论、正式分析。约翰·W·施维特：撰写——审阅与编辑。刘欢欢：撰写——审阅与编辑、可视化、监督、方法论、概念化。
