《NeuroImage》：The Effects of Working Memory and Interference Control on Reinforcement Learning: Evidence from Computational Modeling and Structural MRI
编辑推荐：
本研究为理解工作记忆（WM）与干扰控制（IC）如何共同塑造概率性强化学习（RL）及其背后的脑结构基础提供了新证据。研究人员结合计算建模（α+βf模型）与结构MRI技术，发现高WM负荷会损害学习精度、降低学习率并减缓遗忘，而干扰暴露则降低学习率并加速遗忘，且二者在学习阶段存在显著的交互作用。这些认知相关的行为差异与边缘-额顶控制网络的灰质体积（GMV）、皮层厚度及脑沟深度等结构指标密切相关。研究揭示了高级认知功能与学习过程相互作用的脑形态学基质，为理解个体学习差异的神经基础提供了重要洞见。
在复杂多变的环境中，我们如何从试错中学习，并根据反馈调整自己的行为以获得最大回报？这背后依赖着一个被称为强化学习（Reinforcement Learning, RL）的核心计算过程。然而，真实世界的学习很少在“纯净”的环境中进行。我们常常需要同时记住多个任务规则（高工作记忆负荷），或者在一片嘈杂的信息中（存在干扰）专注地寻找线索。过去的研究已经分别探讨了工作记忆（Working Memory, WM）或干扰控制（Interference Control, IC）对学习的影响，但这两项关键的执行功能是如何联手塑造我们的学习过程的？它们背后的脑结构基础又是什么？这些问题尚未得到清晰的解答。
为了解开这些谜团，一项发表在《NeuroImage》上的研究，通过精巧的实验设计、先进的计算建模和多模态脑结构分析，为我们揭示了WM与IC在概率性RL中既独立又协同的作用模式，并首次系统地将其与个体的大脑形态学差异联系起来。
研究人员主要运用了以下几项关键技术方法：首先，他们设计了一个2（WM负荷：低/高）× 2（IC：无/有）的四条件概率性RL任务，并通过集成数值Stroop任务来操纵IC。其次，他们采用了基于Rescorla–Wagner模型的α+βf计算模型，从试错行为中提取出正性学习率（α+）、逆温度（β）和遗忘参数（f）三个关键参数，以量化学习动态。第三，他们对144名健康年轻成人参与者进行了高分辨率T1加权结构磁共振成像（MRI）扫描。最后，利用CAT12工具箱进行基于体素的形态学分析（Voxel-Based Morphometry, VBM）和基于表面的形态学分析（Surface-Based Morphometry, SBM），提取了全脑的灰质体积（Gray Matter Volume, GMV）、皮层厚度（Cortical Thickness）和脑沟深度（Sulcal Depth）指标，并将这些结构指标与行为及模型参数的差异分数进行关联分析。
3.1. 学习阶段的行为结果
研究人员首先分析了参与者在四种实验条件下的学习表现。学习曲线显示，在所有条件下，随着试验次数增加，选择正确率（学习精度）均逐渐上升，但在高WM负荷条件下，学习精度显著低于低WM负荷条件。更重要的是，WM与IC存在显著的交互作用：干扰任务仅在高WM负荷条件下损害了学习精度，而在低WM负荷条件下则无显著影响。这意味着当大脑已经忙于处理多项信息（高WM负荷）时，额外干扰的破坏性会急剧放大。
3.2. 学习阶段的建模结果
计算建模结果进一步揭示了WM和IC影响学习的内在机制。结果显示，高WM负荷和干扰暴露均会降低正性学习率（α+），表明在高认知需求下，个体利用正面反馈更新价值估计的能力减弱。逆温度（β）未受两种操纵的显著影响。有趣的是，WM和IC对遗忘参数（f）的影响方向相反：高WM负荷减缓了遗忘（f值降低），而干扰暴露则加速了遗忘（f值升高）。这提示，WM负荷可能消耗了用于主动“擦除”旧信息的认知资源，导致价值记忆更持久；而干扰则可能直接覆盖或破坏了维持记忆的神经表征。
3.3. 意外测试阶段的行为结果
在间隔约20分钟后的记忆保留测试中，结果模式与学习阶段不同。测试精度仅受WM的独立调节，在高WM负荷下学习的刺激-动作关联，其测试精度更低。IC的主效应及其与WM的交互作用均不显著。这表明，WM负荷对学习成果的长时记忆保留有持续影响，而干扰的负面影响可能更多体现在实时的学习过程中。
3.4. RL表现跨WM和IC的神经解剖学关联
这是本研究最具创新性的部分。通过将行为/模型参数的差异（如高减低WM负荷下的学习精度变化ΔAccWM）与脑结构指标关联，研究者发现：
- •
WM相关效应：ΔAccWM（即个体抵抗高WM负荷导致学习下降的能力）与左后眶额皮层和右旁海马回的GMV呈正相关，也与额顶控制网络（如左缘上回、左顶下小叶、右顶上小叶）的脑沟深度呈正相关。此外，WM负荷对遗忘参数的调节量（ΔfWM）与眶额皮层、缘上回、顶上小叶、额中回前部等多个脑区的皮层厚度和脑沟深度呈负相关。这表明，更大的边缘系统体积和更深的额顶叶脑沟，可能构成了在高WM需求下维持学习效能和调节记忆更新速率的神经结构基础。
- •
IC相关效应：IC导致的学习精度下降（ΔAccIC）与左扣带回峡部的脑沟深度呈负相关，意味着该脑沟更深的人，在面临干扰时学习受损更严重。
- •
WM × IC交互作用：交互作用对学习精度的影响（ΔAccinteraction）与左颞极的脑沟深度呈正相关，即颞极脑沟更深的人，受WM与IC交互的负面影响更小。此外，在高WM负荷下，IC对学习精度的损害（ΔAccIC_nS4）与左侧外侧膝状体（丘脑的一个亚区）的GMV呈正相关，表明该区域体积更大的个体，在高WM负荷下更能抵御干扰。
在讨论与结论部分，研究者强调，本研究的发现从行为和计算层面证实了WM与IC对概率性RL既独立又协同的塑造作用。WM负荷主要损害学习速率并减缓遗忘，而IC则降低学习速率并加速遗忘，二者结合时（尤其在高WM负荷下）产生最强的学习障碍。更重要的是，这些认知效应并非凭空产生，它们与个体大脑的稳定结构特征密切相关。WM相关的学习表现与边缘系统和额顶控制网络的GMV、脑沟深度关联；IC的易感性则与扣带峡部的形态有关；而WM与IC的交互作用，则牵涉到颞极和丘脑的结构。这些关联提示，不同的认知需求可能依赖于不同脑网络的特定形态学属性。
这项研究的意义深远。它将高级认知控制（WM, IC）与基础学习算法（RL）在同一个框架内联系起来，并通过多模态脑结构成像，为“认知功能如何根植于脑结构”这一根本问题提供了实证证据。研究结果不仅深化了我们对人类学习机制的理解，也为未来探索学习障碍、认知老化或神经精神疾病（这些疾病常伴有特定的认知缺陷和脑结构异常）的神经基础提供了新的思路和潜在靶点。它表明，大脑的宏观结构，如脑沟的深浅、皮层的厚薄、特定核团的体积，就像认知能力的“硬件配置”，共同决定了我们在复杂环境中学习的效率与韧性。
