《Nature Communications》:Local lateral connectivity is sufficient for replicating cortex-like topographical organization in deep neural networks
编辑推荐:
本研究旨在揭示大脑皮层神经元功能集群形成的可能机制。研究人员通过在深度神经网络中引入局部侧向连接并进行标准训练,成功复制了从初级到高级人类视觉皮层的层级地形图结构。结果表明,无需额外的地形诱导目标,仅局部侧向连接就足以驱动类皮层功能模块的形成,并且该结构还能提升模型对抗对抗性扰动的鲁棒性,这为理解皮层组织原理及设计鲁棒人工智能模型提供了新见解。
视觉信息处理是大脑最核心的功能之一。在灵长类动物的视觉皮层中,科学家观察到一个引人入胜的现象:那些对相似视觉特征(如特定朝向的边缘、颜色或运动方向)产生响应的神经元,并非随机分布,而是倾向于在空间中聚集成簇,形成功能特化的“模块”。这种高度有序的空间排列模式被称为地形图(topographic map),它被认为是大脑高效组织感觉信息处理的通用策略。尽管人们普遍认为神经元之间短程的、局部的侧向连接(local lateral connections)是支撑这种组织模式的关键,但这些连接究竟如何塑造出我们所观察到的、从初级到高级视觉皮层逐级演变的复杂地形结构,其背后的具体神经机制仍然是一个悬而未决的谜题。
针对这一核心问题,一篇发表在《自然-通讯》(Nature Communications)上的研究进行了创新性的探索。研究团队将计算神经科学与深度学习相结合,在人工深度神经网络(DNNs)中模拟了生物神经元间的局部侧向连接,以探究其是否足以自发产生类皮层的层级地形图结构。令人惊讶的是,他们发现,当神经网络的单元(units)被赋予局部侧向连接,并通过标准的、自上而下的信用分配(credit assignment,即反向传播算法)进行训练后,网络内部自发地形成了清晰的地形图。这些地图不仅在单个层级内表现出模块化集群,而且在整个网络的层级结构中,从底层(类比初级视觉皮层,V1)到高层(类比高级视觉皮层),再现了与人类视觉皮层相似的地形组织模式。关键在于,这种复杂的模块化组织是在没有任何外部强加的、专门用于诱导地形结构的学习目标或特殊学习规则下自发涌现的。这一发现强烈暗示,局部侧向连接本身可能就是驱动大脑皮层中观察到的地形图形成的一个充分(甚至可能是关键)的机制因素。
该研究的另一个重要发现是,引入局部侧向连接不仅复制了生物结构,还带来了计算上的优势。拥有这种局部循环结构的网络,在面对细微的、人为设计的对抗性扰动(adversarial perturbations)时,表现出了更强的鲁棒性。这表明,皮层中普遍存在的局部侧向连接结构,除了在发育和组织功能模块中扮演角色外,还可能具有塑造稳健的视觉表征、抵御干扰的计算功能。这为理解大脑为何采用这种连接模式提供了新的计算视角,同时也为设计更具生物合理性和鲁棒性的人工智能模型提供了启发。
为了开展这项研究,研究人员主要运用了深度神经网络建模与计算分析相结合的方法。其核心模型架构是在标准的前馈深度神经网络中,为每一层的单元(或神经元)添加了局部的、循环的侧向连接。随后,他们使用大规模的图像数据集(如ImageNet)对模型进行有监督训练,训练过程采用标准的反向传播算法,不包含任何专门鼓励地形图形成的正则化项或损失函数。在模型训练完成后,研究人员通过分析网络中每个单元(神经元)的“调谐特性”——即它们对一系列标准化视觉刺激(如不同朝向的格拉布斯边缘、颜色、纹理等)的响应偏好,来构建每个网络层单元的功能图谱。他们采用相关性分析和降维技术(如t-SNE)来可视化和量化这些功能图谱的空间组织模式。最后,通过系统地引入对抗性攻击(如FGSM, PGD等算法生成对抗样本),研究人员定量评估了拥有局部侧向连接的模型与标准前馈模型在对抗鲁棒性上的差异。
研究结果
局部侧向连接诱导出自发的地形图形成:分析表明,在配备了局部侧向连接的深度神经网络中,具有相似功能调谐的单元在空间位置上自发地聚集在一起。例如,在对边缘朝向敏感的层中,偏好特定朝向的单元会形成空间上相邻的模块。这种组织模式在网络的多个层级中均有出现。
地形图具有层级性,与生物视觉皮层相似:研究发现,地形图的复杂性随着网络层级的加深而增加。浅层网络(类比初级视觉皮层,V1)的地形图主要对应基础的视觉特征(如边缘朝向),而更深层的网络(类比高级视觉皮层,如下颞叶皮层)则出现了对更复杂、更抽象特征(如物体部件、形状)具有选择性响应的单元集群及其空间组织,这模仿了生物视觉系统的层级处理过程。
地形图的涌现无需特殊诱导:最关键的结果之一是,这种复杂的地形组织结构是在标准的、以任务性能(如图像分类)为目标的训练过程中自发产生的。研究人员没有在损失函数中添加任何旨在鼓励空间聚类或地形图形成的项,这表明局部侧向连接的动力学特性与基于误差的反向传播学习相结合,本身就足以作为地形图生成器。
局部侧向连接增强对抗鲁棒性:除了重现生物结构,该研究还发现,拥有局部侧向连接的模型在面对对抗性样本时,分类准确率的下降幅度显著小于结构相同但仅有前馈连接的模型。这表明,由局部侧向连接支持的循环处理能够稳定网络的表征,使其对输入中的恶意扰动不那么敏感。
讨论与结论
这项研究通过一个精巧的计算模型,为大脑皮层地形图组织的起源提供了强有力的新解释。其核心结论是:局部侧向连接,结合通过信用分配进行的任务驱动学习,足以驱动深度神经网络中复杂、层级化的类皮层地形图的自发形成。 这意味着,在生物大脑中,广泛存在的局部神经回路(如皮层内的水平连接)可能本身就是塑造我们观察到的功能架构的核心引擎,而不一定需要依赖更复杂的、预先设定的遗传蓝图或特殊的发育规则。
这项工作的意义是多方面的。在计算神经科学领域,它弥合了微观电路机制(局部连接)与宏观组织原则(地形图)之间的鸿沟,提出了一个简约而有力的形成机制假说。在人工智能领域,它展示了从大脑架构中汲取灵感的价值:模仿皮层的局部循环结构不仅能使模型更“像”大脑,还能赋予其更优越的计算特性——即对抗鲁棒性。这为开发新一代既具有生物可解释性又具备强大实用性的神经网络模型指明了方向。
最后,该研究也提出了新的问题。例如,局部侧向连接的具体形式(如兴奋-抑制平衡、连接强度分布)如何精细调节地形图的特性?这种机制是否适用于其他感觉模态(如听觉、体感)的皮层?未来研究可以沿着这些方向深入探索,进一步揭示大脑与机器智能设计的深层联系。