生物神经网络的关键初始化

《Nature》:A critical initialization for biological neural networks

【字体: 时间:2026年05月22日 来源:Nature 48.5

编辑推荐:

  内源性生成的全脑神经活动(neural activity)展现出大规模神经元群体之间的宏观协调性(macroscopic coordination),这种协调性持续的时间远超单个神经元的生物物理时间尺度。然而,目前对于如何从神经元对之间微观、短寿命的相互作用中

  
内源性生成的全脑神经活动(neural activity)展现出大规模神经元群体之间的宏观协调性(macroscopic coordination),这种协调性持续的时间远超单个神经元的生物物理时间尺度。然而,目前对于如何从神经元对之间微观、短寿命的相互作用中产生这些宏观行为,尚缺乏深入理解。研究人员证明了小鼠大规模神经记录的(eigenvalue spectrum,特征值谱)和动力学特性与由临界归一化(critically normalized)的随机对称矩阵(random symmetric matrix)支配的线性动力学产生的特性相似。一个例外是海马CA1区(hippocampal area CA1)的群体活动,该区域的活动类似于一种高效的、不相关的神经编码(neural code),可能是为信息存储容量(information storage capacity)优化的。高维的全局活动模式(global activity modes)在临界归一化的人工网络中出现,并在稀疏、聚类或空间连接条件下持续存在。这些动力学对于解决时序依赖任务(如零样本工作记忆任务(zero-shot working memory task))具有实用价值。
**研究背景与问题**

大脑内源性生成的神经活动包含跨越整个小鼠大脑的神经元协调宏观模式。与独立放电的神经元相比,更多的活动方差被集中到神经活动的顶部维度中,同时并不存在低维的方差截断,且方差随特征模式编号呈幂律缩放。迄今为止,尚缺乏能够解释这种方差缩放的机制性模型,但宏观变异性通常被假设源于处于临界或混沌状态运行的神经网络的动态特性。此外,在人工神经网络(artificial neural network)中,涌现的宏观结构也在初始化背景下被广泛研究,良好的初始化可以直接满足许多计算任务的时序要求,或至少显著加速后续学习并获得更优的最终模型。然而,复杂的初始化方案很少被测试。对涌现宏观结构的深入理解可能为现代复杂模型(如变换器、状态空间模型和深度信号处理模型)带来更好的初始化方案。协调的全脑神经活动在多个时间尺度上被观察到,包括持续数秒的模式,这种持续性活动被假设成为工作记忆的基础,但工作记忆的长时程如何从具有快速动力学特性的单个神经元中涌现,仍属未知。

**研究开展与核心结论**

研究人员假设高维神经网络中的相互作用可以用随机矩阵(random matrix)近似,该矩阵能够总结网络中大量相互作用的综合效应。研究人员利用对称随机矩阵的基本性质(如半圆定律(semicircle law))来解释神经网络中宏观模式的涌现,并证明这些动力学以定量方式与记录的神经数据集匹配。

在随机矩阵动力学部分,研究人员的初始建模目标是重现神经群体活动跨模式的方差幂律缩放。研究人员假设在非线性网络动力学期间,网络动力学可在平稳点附近近似为线性动力学,且每个模型单元产生独立的随机变异。当随机输入为高斯分布时,该模型描述随机奥恩斯坦-乌伦贝克过程(Ornstein–Uhlenbeck process),但这一假设对以下结果并非必需。相互作用矩阵A包含独立的随机正数,均匀分布,代表单元之间的兴奋性相互作用;为稳定动力学,研究人员减去该矩阵的均值,这在脑中可通过全局抑制性反馈实现。当A为对称矩阵时,结果多维活动的协方差可直接从A通过李雅普诺夫方程(Lyapunov equation)计算,其特征值与A的特征值相关。研究人员进一步将A缩放到谱半径(spectral radius,最大特征值)为1或接近1,称此类矩阵为临界归一化矩阵。在此情况下,数学和数值上均可证明协方差特征值按幂律衰减,指数约为2/3。非对称相互作用A的情况类似,产生的方差幂律近似指数为1.25。部分对称情况下,特征值按介于2/3和1.25之间的幂律衰减。

在神经记录中的内在结构部分,研究人员利用新型钙指示剂jGCaMP8s的高速动力学优势,以约22 Hz记录皮层和海马CA1区活动,并开发了SVCA2方法以更准确估计特征值谱。而传统SVCA方法存在显著向上偏倚。研究结果显示:皮层双光子记录和全脑电生理记录的方差谱以0.7-0.85的幂律指数衰减,接近随机对称矩阵的预期估计;海马CA1区则衰减更慢,指数为0.4-0.5,且单个神经元时间混洗后无显著变化。Rastermap可视化显示,皮层和全脑数据中存在宏观协调性,而CA1中基本不存在。研究人员还验证了主成分(principal component, PC)方差与其内在时间尺度的协变关系,发现方差较大的PC具有更慢的时间动态。

研究人员进一步探讨了对称与非对称动力学的关键差异:对称矩阵具有实特征值,产生松弛动力学(relaxation dynamics);非对称随机矩阵在复平面上特征值分布呈圆盘状,产生大量旋转动力学(rotational dynamics)。通过延时动态模式分解(dynamic mode decomposition, DMD)量化分析,发现神经数据中的DMD矩阵特征值复部接近零,表明自发活动不含显著旋转动力学成分,这与非对称动力学预测形成对比。

在结构化连接下的动力学持久性部分,研究人员证明即使考虑稀疏、聚类或空间结构化连接等生物物理现实约束,只要存在少量全局连接,全局活动模式仍可涌现并维持相同的幂律特征值分布。疏对称随机矩阵在连接概率不低于0.4%时仍遵循维格纳半圆定律。对于空间结构化模型,研究人员发现平均相关性与距离无显著关联,但最强相关神经元对(顶部1%)的空间分布可反映连接概率的距离依赖性。重要的是,即使在强局部连接偏置下,顶部PC仍保持全局性。

在计算功能部分,研究人员探索了具有随机、对称且临界归一化连接的线性动力学的计算特性,聚焦工作记忆任务。研究人员比较了线性对称、线性非对称和非线性非对称(回声状态网络/储层计算)三种临界归一化动力学形式。在延迟二进制分类任务中,线性和非对称动力学均可达数秒时滞;但在零样本工作记忆任务(要求回忆任意随机输入特征)中,对称动力学显著优于非对称动力学。原因在于非对称模型中的长时间尺度几乎总是伴随大虚部特征值,导致大量旋转动力学,无法维持跨时间的稳定表征。回声状态网络则因混沌动力学对噪声不够稳健,难以维持半秒以上的记忆。若允许输入由自发活动的宏观模式表示,则可进一步增强工作记忆持续时间。

**研究意义**

该研究发表于《Nature》,建立了从微观神经相互作用到宏观协调模式的定量桥梁。研究表明小鼠全脑自发神经活动的动力学特性可由临界归一化的随机对称矩阵模型准确描述,这为理解大脑如何产生持久性神经动态和进行计算提供了理论基础。海马CA1区的特殊性提示不同脑区可能采用不同的编码策略优化,CA1的高效非相关编码可能服务于信息存储容量的最大化。从应用角度,这些发现为现代深度神经网络的初始化方案设计提供了生物学启发,特别是对称、临界归一化初始化可能在需要动态和记忆的任务中具有优势。

**关键技术方法**

研究人员采用的主要技术包括:双光子钙成像技术(jGCaMP8s和GCaMP6f指示剂,22 Hz采集频率)和Neuropixels探针电生理记录技术获取大规模神经数据,样本队列涵盖18例皮层记录、8例海马CA1记录和3例全脑八探针同时记录;基于改进的SVCA2算法进行特征值谱估计;利用Rastermap方法进行神经活动可视化排序;通过噪声归一化自相关函数分析主成分时间尺度;采用延时动态模式分解(DMD)量化动力学复杂性和旋转成分;构建随机矩阵理论模型(含对称、非对称、稀疏、聚类和空间结构化连接变体)进行数值模拟;设计零样本工作记忆任务评估计算特性;使用欧拉-丸山方法进行动力学系统数值积分。

**研究结果概述**

**随机矩阵动力学**

研究人员通过理论推导和数值模拟建立随机矩阵模型。对称随机连接矩阵A经均值减法(模拟全局抑制)和临界归一化(谱半径≈1)后,其生成的协方差特征值按幂律衰减,指数约2/3,符合半圆定律预测。非对称情形指数约1.25,部分对称则介于两者之间。研究人员还开发了SVCA2方法并证实其在噪声数据中的估计准确性优于直接特征分解和传统SVCA。

**神经记录中的内在结构**

皮层和全脑电生理记录显示方差谱幂律指数0.7-0.85,与对称随机矩阵预测一致;海马CA1区指数为0.4-0.5,更接近不相关编码。PC方差与其时间尺度正相关,符合理论预测。DMD分析显示数据近乎实特征值,缺乏旋转动力学,支持对称动力学模型。

**结构化连接下的动力学持久性**

稀疏连接(概率≥0.4%)、聚类连接(全局/局部概率比≥1%)和局部连接条件下,全局活动模式均持续存在。空间模型中,最强相关对的空间分布可推断连接局部性,但顶部PC始终保持全局性。

**对称动力学中的计算**

对称线性动力学在零样本工作记忆任务中表现最优,因其缺乏旋转动力学可维持稳定表征;非对称动力学因虚部特征值导致信息旋转;回声状态网络的混沌动态对噪声敏感,记忆短暂。

**讨论与结论翻译**

研究人员提出的建模结果具有高度普适性:适用于任意独立噪声分布、近乎任意的连接强度分布,以及低秩或空间结构化连接矩阵。在所有这些建模选择中,对称与非对称系统之间的显著差异(2/3对比约1.25幂律指数)持续存在,这对应于有效维度(effective dimensionality)的显著差异。神经记录中0.75-0.8的幂律指数可能表明更高维的编码对神经计算更为可取,且通过临界归一化的对称相互作用实现。对称相互作用在脑中广泛存在:脑区和神经元对常为互惠连接。产生宏观动力学所需的临界归一化可通过自我调谐机制实现,如通过修剪或重新缩放连接使初始不稳定系统趋于稳定。

具有随机连接和非线性动力学的模型在计算建模中有悠久历史,通常利用此类网络中的混沌动力学执行需要记忆的非线性计算。近期深度学习方法表明,只要模型够深,即使线性动力学也能完成此类任务。因此,研究人员假设小鼠脑中的自发活动反映了全脑神经网络的初始化,该网络可为需要动态和记忆的计算提供理想条件。已有证据表明该支架被用于表征运动状态,且实验室任务触发了类似于自发活动中观察到的全脑神经活动级联。或许此类任务中所需的所有学习仅限于读出或前馈连接——从感觉输入到全脑动力学储层。这可解释为何自发活动反映随机初始化网络状态,而非具有不同特征值分布的修改状态。或者,任务执行期间可能"开启"不同的动态子集。区分这些情景需要大规模神经记录结合纵向追踪,这在技术日益精进的背景下正变得越来越可行。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号