《Patterns》：Evolving reservoir computers reveal bidirectional coupling between predictive power and emergent dynamics
编辑推荐：
本研究针对生物与人工神经网络如何通过集体动力学实现超越单神经元的复杂预测这一核心问题，利用受生物启发的储层计算（RC）模型和基于信息论的涌现量化框架，揭示了网络预测性能与涌现动力学之间存在强烈的双向耦合关系。结果表明，优化预测性能会增强涌现，反之亦然，且涌现动态是预测成功的充分且往往必要条件。这项发表于《Patterns》的研究为理解神经网络的计算原理提供了新视角，并强调了涌现方法在解析智能系统工作机制中的重要性。
大脑如何能够进行如此复杂的预测，以至于单个神经元根本无法完成？这背后是否隐藏着“整体大于部分之和”的奥秘？长期以来，神经科学领域一直认为智能是一种集体现象，但如何从数学上量化这种集体能力，即“涌现”（Emergence），却一直是个难题。传统的还原论方法试图通过理解每个神经元的行为来理解整个系统，但对于生物神经网络这种部分可观测系统，这种方法在实践中往往行不通。
近年来，机器学习框架，特别是储层计算（Reservoir Computing, RC），为模拟生物神经网络中的计算提供了有吸引力的途径。RC的核心是一个固定的递归神经网络（RNN），称为储层（Reservoir），它只通过训练线性读出层权重来学习任务，这使得训练快速高效。更吸引人的是，最近的研究趋势是使用基于经验性大脑连接数据（如人类连接组，Human Connectome）的、受生物启发的储层拓扑结构，从而将大脑网络的结构特性与计算功能联系起来。
尽管有了可完全观测的人工模型，但阐明人工神经网络（ANN）如何执行复杂计算仍然具有挑战性。一个关键原因是，相关信息可能并非编码在单个神经元层面，而是编码在神经元群组甚至整个网络的层面。这种宏观现象似乎无法完全还原为其组成部分，这正是人工和生物神经网络的共同特征。一个典型的例子是神经科学中的“绑定问题”（Binding Problem）：来自不同感官模态的信息在不同皮层区域处理，但我们却能将它们感知为统一的整体对象。大脑如何实现这种分布式信息流的整合是一个重大科学问题。
这个问题体现了宏观层面可以拥有微观层面所缺乏的特性，即“涌现”。涌现现象在某种意义上“大于其各部分之和”。涌现为解释神经网络中复杂计算所面临的挑战提供了一个有前景的概念性方法。然而，长期以来，由于缺乏有效的度量方法，量化涌现的作用一直受到限制。
最近，Rosas等人开发了一个框架，为因果涌现（Causal Emergence）提供了正式定义，并提供了测量实证数据中涌现的实用工具。该框架基于部分信息分解（Partial Information Decomposition, PID）理论，展示了宏观现象如何能够拥有超越微观描述的、关于系统演化的额外因果（预测）能力。PID将多个信息源关于一个目标的信息概念化为不同的信息原子：冗余信息、独特信息和协同信息。协同信息只有在整合多个信息源时才能被获取，因此它优雅地解释了宏观层面超额因果力的存在，同时不违反还原论原则。
在此背景下，发表于《Patterns》杂志的这项研究，探索了生物神经元网络中支持环境变量预测的复杂计算是否依赖于涌现动力学这一假设。研究人员利用储层计算来模拟生物启发计算架构中的环境动力学预测，并利用因果涌现框架来检验涌现与预测性能之间的关系。
为了开展研究，研究人员主要运用了几个关键技术方法。研究核心采用了受生物启发的储层计算（RC）框架，其储层拓扑结构基于从人类连接组计划（HCP）100名健康被试的扩散张量成像（DTI）数据推导出的群体水平人类连接组。核心量化工具是基于Rosas等人理论的因果涌现度量ψ，它评估了宏观特征（预测输出）关于其自身未来的信息，是否超出了单个储层神经元所提供信息的总和。研究还利用了微生物遗传算法对RC的关键超参数（如谱半径、连接密度、正则化参数等）进行进化优化，目标分别为最大化预测性能或最大化涌现。评估体系包括基于标准化误差的预测损失（loss）以及涌现概率（P(E)）和成功预测概率（P(S)）。任务环境涵盖了洛伦兹吸引子和五个Sprott混沌系统，用于模拟RC需要预测的环境动态。
预测性能与涌现动力学紧密耦合
研究人员首先通过进化算法优化RC的超参数以最小化预测损失（优化目标I）。结果发现，在进化过程中，种群平均损失的下降始终伴随着种群平均ψ值的上升，两者呈显著的负相关。这种反向关系是双向的：当以最大化ψ值为目标（优化目标II）进化RC时，不仅ψ值如预期般增加，种群的平均损失也同时下降。这表明优化涌现同样能提升预测性能。通过对超参数空间的大量采样，研究发现涌现的预测（ψ > 0）显著更可能成功（P(S|E) > 0.8），且在多数环境中，缺乏涌现高度预示着预测失败，表明涌现是预测成功的充分且往往必要条件。此外，增加训练数据量不仅降低了损失，也提高了涌现的概率，说明训练过程增强了与任务相关信息相关的协同动力学的读出。进一步的对照实验证实，当使用随机化的读出权重时，预测性能和ψ值均显著下降，表明观察到的涌现动力学确实编码了任务相关信息。
基于涌现的优化可促进向陌生环境的迁移学习
研究探讨了针对涌现进行超参数优化是否比针对性能优化在迁移学习（即适应未经优化的新环境）方面更具优势。研究人员进化RC以最大化P(S)和P(E)的不同加权组合。结果发现，虽然单纯优化P(S)在优化环境中往往能获得最佳测试性能，但在某些情况下，当RC在不同任务环境中进行评估时，优化P(E)可能带来优势，其表现具有竞争力甚至更优。这提示，优化涌现可能使RC更倾向于获得一种通用性，从而在陌生环境中也能有良好表现。
生物启发的人类连接组拓扑相比随机网络未显示出性能或涌现优势
研究比较了基于人类连接组的RC与使用随机连接（Erd?s-Réyni类型）储层的RC。结果显示，在预测性能（P(S)）或涌现（P(E)）方面，两者没有显著差异。这意味着所观察到的性能与涌现之间的耦合关系并非人类连接组拓扑所特有，而可能是储层计算网络更普遍的性质。这一发现也引发了对RC在多大程度上适合作为人脑计算模型的进一步思考。
本研究揭示了储层计算中预测性能与涌现之间稳健的双向关系，这种关系在不同任务环境和储层拓扑中均保持一致。优化性能的超参数会增强涌现动力学，反之亦然。涌现动力学在所有环境中都是预测成功的充分条件，在大多数环境中也是必要条件。用更大的样本量训练RC会增加涌现动力学的读出，表明任务相关信息编码在协同的神经元相互作用中。此外，基于涌现的超参数优化可能有助于提升RC在非优化环境中的性能。
研究结论强调，考虑涌现动力学对于研究弱学习者系统（如RC）中的计算至关重要。将每个储层神经元视为对环境预测信息有限的弱学习者，如果神经元完全同步（高度冗余），则储层的预测能力可还原为单个神经元。如果神经元提供独特信息，则通过聚合冗余和独特信息可以改善预测。更进一步，任务相关信息可能以协同方式编码在任何神经元组合中。因此，利用协同信息动力学可以极大地放大表征能力，有效地将弱学习者联合成一个强大的预测机器，使其计算能力“大于各部分之和”。
这些发现允许我们对生物神经网络中涌现与预测性能的关系进行若干推测。首先，鉴于学习从神经活动到环境动态的映射会导致任务相关协同信息读出的增加，并且涌现动力学对于解决挑战性任务可能尤其重要，我们可以预期在涉及学习和执行复杂任务的大脑区域（如高级联合皮层）中发现更强的涌现动力学。这得到了近期发现的支持，即从低级感觉皮层到高级联合皮层，协同相对于冗余动力学的比例呈梯度增加。其次，进化过程中涌现与预测性能的强相关性表明，人脑进化可能受到了青睐涌现的选择压力。最近的研究显示，与人脑扩张和突触可塑性最高的脑区，其协同相互作用比例也显著更高，并且人类神经元树突具有纯协同计算的能力。最后，优化涌现可能促进向陌生环境的迁移学习能力，这不仅对理解大脑进化有启示，也对开发改进的人工智能具有重要意义。
研究的局限性包括储层计算模型对人脑计算的抽象程度，以及基于ψ的度量仅为涌现提供了下限。未来工作包括在更逼真的生物启发模型（如脉冲神经网络）中复制分析，以及利用侵入性神经成像技术在动物任务执行期间测量涌现动力学。尽管存在这些限制，本研究清晰地表明，在模拟环境预测的生物启发计算模型中，因果涌现与预测性能之间存在（因果）双向关系。这强调了在研究生
