正交空间约束在不依赖梯度反向传播的情况下，提升了学习的可扩展性和收敛效率

《Neurocomputing》：Orthogonal space constraint enhances learning scalability and convergence efficiency without gradient backpropagation

本文提出LOCO算法，通过引入正交约束和低秩聚类优化权重更新，解决了非BP方法在深度突触神经网络训练中的效率和扩展性问题。实验表明，LOCO在多个基准数据集上表现优异，支持超过10层网络的训练，并具有持续学习能力。

　　

郭庆马 | 杨晨 | 张宇涵 | 郭良轩 | 吴宇杰 | 余珊

中国科学院自动化研究所，北京，100190，中国

摘要

鉴于反向传播（BP）的高计算成本，非BP方法作为新兴神经形态系统中高效学习的替代方案应运而生。然而，现有的非BP方法在效率和可扩展性方面仍面临关键挑战。受大脑神经表征和动态机制的启发，我们提出了一种基于扰动的权重修改方法，称为低秩簇正交（LOCO）。我们的分析表明，LOCO在梯度估计中实现了低方差。通过对多个基准数据集的广泛评估，LOCO展示了训练最深层脉冲神经网络（超过10层）的能力，同时表现出强大的持续学习能力、改进的收敛效率以及比其他受大脑启发的非BP算法更好的任务性能。这为在神经形态系统中实现高性能、实时和终身学习提供了潜在的方向。

引言

神经形态计算作为一种节能的替代方案，通过利用受大脑启发的脉冲计算[1]、[2]、[3]和内存计算架构[4]、[5]而出现。尽管具有有前景的计算优势，但神经形态计算仍缺乏能够充分利用其架构并行性和效率的有效学习算法。目前，主流学习算法大致可分为两类：基于反向传播（BP）和非BP[6]、[7]、[8]。BP需要完全对称的前向和后向连接，以便梯度能够反向传播，这导致了权重传输问题[6]，并阻碍了BP在神经形态系统中的实现[9]。此外，更新锁定问题[10]也限制了BP的并行化，使其无法以真正并行的方式执行。

相比之下，非BP算法基本上不受权重传输问题的影响，因此天生适合并行计算[11]、[12]、[13]。然而，许多非BP算法（如基于Hebb的算法、标量反馈和向量反馈[6]）在训练神经网络时存在可扩展性限制。尽管这些方法在浅层网络中表现出令人满意的收敛性[14]，但在训练更深层架构时往往性能较差[15]、[16]。基于扰动的方法由于其严格的数学基础而提供了一个潜在的研究方向。值得注意的是，节点扰动（NP）[17]和权重扰动（WP）[18]实际上是零阶梯度优化方法，这是许多非BP算法的数学本质[19]、[20]、[21]。因此，提高NP的训练效率是一个关键目标。

然而，随着网络中神经元数量的增加，NP的收敛效率会迅速下降[19]、[21]。在超过五层的神经网络中，它也会失去可扩展性。相比之下，大脑拥有数百亿个神经元，同时保持了显著的效率。因此，理解大脑的显著学习可扩展性对于神经科学和设计避免BP限制的大规模神经形态计算系统至关重要。

最近的神经科学研究揭示了关于学习效率的两个重要现象：（1）需要分离的神经表征通常是彼此正交的[22]、[23]，这表明突触修改可能旨在最小化不同任务之间的干扰[24]、[25]；（2）大脑动态通常表现在低维流形中[8]、[22]、[26]，这表明学习发生在低秩参数空间中。然而，现有的非BP算法尚未研究正交性和低秩约束对可扩展性和收敛效率的影响。

在这项工作中，我们提出了低秩簇正交（LOCO）权重修改算法。与其他非BP算法相比，LOCO具有更好的收敛性和可扩展性，为训练神经形态系统开辟了有希望的道路。该研究的一些初步结果已在会议上的一篇短文中报告[27]。具体来说，我们的贡献如下：

1.

我们证明了低秩是基于扰动算法的固有属性。在这种条件下，正交性约束显著降低了NP梯度估计的方差，提高了学习率的上限，最终提高了收敛效率。

2.

凭借更高的收敛效率，LOCO在多个基准数据集上实现了最先进的性能，并展示了克服灾难性遗忘的能力。

3.

我们的结果表明，LOCO能够训练超过10层的脉冲神经网络，而之前的工作仅限于最多5层，突显了我们方法的可扩展性。

4.

LOCO使每一层的权重能够并行更新，使其更适合大规模分布式计算。它还将正交权重修改的时间复杂度从$$

降低到$$

章节片段

深度SNN的训练方法

非BP规则仅对层数相对较少的网络有效，例如不超过5层。例如，Hebb学习规则[27]、[28]、[29]在浅层网络中有效，但在更深层网络中维持稳定性和学习效率方面面临挑战[15]、[16]。Spiking Backpropagation（SBP）算法将SNN中可优化层的深度从2层扩展到4层[30]。SoftHebb实现了对多达5个隐藏层的训练[14]。

低秩簇正交权重修改（LOCO）

为了解决非BP算法的可扩展性和收敛效率问题，我们提出了LOCO算法，它可以减少学习过程中的方差。总之，LOCO引入了对权重修改空间的正交约束，我们从理论和实证上解释了为什么它能够提高学习过程的收敛效率，同时保持了局部计算的强度和可证明的收敛性。为了利用能效优势

实验设置

数据集 为了验证LOCO算法在训练SNN中的效果，我们使用了四种不同的学习任务：（i）XOR任务[13]；（ii）使用修改后的国家标准与技术研究院（MNIST）数据集[47]识别手写数字；（iii）使用NETtalk数据集[48]进行语音转录；（iv）Imagenette[49]，即Imagenet数据集的一个子集。具体来说，XOR任务用于测试算法训练多层非线性神经网络的能力。

讨论

非BP算法为优化神经形态系统提供了有希望的方向[62]、[63]。当前的非BP算法在训练更大规模的脉冲神经网络时存在可扩展性限制，因为它们在估计梯度时具有高方差。以前的工作无法保证收敛，或者只能保证在浅层网络（例如不超过5层[14]、[27]、[28]、[29]）和线性网络[33]、[34]中的收敛。在本文中，我们证明了LOCO能够高效地进行训练

CRediT作者贡献声明

郭庆马：撰写 – 审稿与编辑，撰写 – 原始草稿，方法论，概念化。杨晨：形式分析，概念化。张宇涵：形式分析。郭良轩：数据管理。吴宇杰：撰写 – 审稿与编辑，撰写 – 原始草稿。余珊：资金获取，概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本工作部分得到了中国科学院（CAS）的战略优先研究计划（XDB1010302）、CAS青年科学家基础研究项目（Grant No. YSBR-041）以及中国科学院的国际合作计划（CAS）（173211KYSB20200021）的支持。

郭庆马于2022年在中国山东大学获得自动化学士学位。自2022年起，他一直是中国科学院自动化研究所（CASIA）的博士候选人。他在《机器智能研究》等领先期刊和会议上发表了关于受大脑启发的计算和强化学习的论文，以及每年的人工智能会议（AAAI）和国际神经网络联合会议