Introducing principles of synaptic integration in the optimizati

大脑的可塑性电路已知受到突触权重分布通过突触整合和突触强度的局部调节机制的影响。然而，大多数迄今为止设计的人工神经网络训练算法忽略了刺激相关可塑性与局部学习信号的复杂相互作用。在这里，我们提出了一种新颖的受生物学启发的人工神经网络和尖峰神经网络优化器，它包含了在皮质树突触中观察到的突触可塑性的关键原理：GRAPES（负责调整误差信号传播的群体责任）。GRAPES在网络的每个节点上实现了基于权重分布的误差信号调制。我们展示了这个受生物学启发的机制如何大幅提高前馈、卷积和循环结构的人工神经网络和尖峰网络的性能，它能减轻灾难性遗忘，并且非常适合专用硬件实现。总体而言，我们的工作表明，将神经生理学见解与机器智能相结合对于提升神经网络的性能至关重要。

人工神经网络（ANN）最早在20世纪40年代被提出，作为哺乳动物大脑神经电路的简化计算模型1。随着计算能力的提升2，ANN逐渐远离了最初的神经生物学系统，转向开发目前在各种应用中使用的计算技术。在训练多层神经网络中，反向传播（BP）算法3,4被证明是一种有效的训练方案。尽管机器智能取得了令人印象深刻的进展，但ANN的潜力与大脑的计算能力之间的差距仍然很大。解决ANN的基本问题，例如漫长的训练时间、灾难性遗忘5以及无法利用不断增加的网络复杂性6，不仅可以接近人脑的能力，还可以提高日常使用设备的性能。例如，在机器人应用中缩短在线学习的训练时间对于确保机器人智能体快速适应新环境7并降低与训练相关的能源成本至关重要。已经提出了一些技术，如批量归一化8、层归一化9和权重归一化10，以加快ANN的训练速度。虽然这些方法在提高收敛速度方面取得了成功，但它们与生物大脑的学习能力仍存在很大差距。

ANN相对于大脑的局限性主要归因于其结构和动力学与哺乳动物神经电路相比的极大简化。大脑功能的几个重要机制，包括突触整合和突触权重的局部调节，通常未在基于BP的ANN训练中建模。克服这种局限性可能是使人工网络的性能更接近动物智能的关键11。突触整合是指神经元在产生动作电位（APs）之前将收到的来自成千上万个突触前神经元的尖峰信号进行组合的过程12。轴突APs在细胞轴突中由细胞树突输入接收到的刺激产生作为整体输出信号。实验证据表明，至少在CA1细胞中，来自不同突触前神经元的达到同一突触后神经元的输入信号可能会与非线性动力学相互作用，这是由树突的活动特性引起的13,14。具体而言，在树突分支中出现强偏极化时，会在该区域激发出树突AP。树突AP会增强产生它的兴奋性突触后电位（EPSPs）的总和的振幅，从而放大在达到细胞体激发轴突AP之前的树突输入。产生树突尖峰需要足够多的空间连接到同一分支的突触前细胞在时间上紧密活跃且具有足够的突触强度。因此，突触输入影响突触后神经元的能力取决于它们在树突树中的位置。轴突和树突尖峰之间的差异在参考文献13中进行了讨论。神经元的强大计算能力被认为源于树突尖峰产生的复杂非线性动力学15。图1a说明了这样的机制，并显示了每个突触前神经元的影响也取决于通过其他突触前连接传递给同一突触后神经元的信号。因此，局部权重分布可能负责在特定节点处提高输入信号。与大脑中的神经元类似，ANN中的节点接收来自许多细胞的输入并产生单一输出。我们可以将人工节点的激活关联到轴突APs，但是找不到从树突APs的机制严格转化为点状神经元动力学的方式。然而，树突尖峰受突触强度分布在树突分支内的影响较大。类似地，人工节点的非线性动力学受到传入到节点层的突触权重分布的影响。令人惊讶的是，在ANN的常见训练方法中，缺乏一种考虑到每个节点的权重分布的机制。

此外，大脑中的突触可塑性主要受到局部信号的驱动，如相邻神经元的活动16。突触之间的局部相互作用在学习过程中调节突触变化起着至关重要的作用。在这种情况下，异突间竞争机制通过限制连接到同一突触前或突触后神经元的突触总强度来调节突触生长17。此现象存在于每个神经元的突触之间的非线性竞争中。具体而言，当突触的总权重（进或出）达到阈值时，所有连接到该神经元的传入（传出）突触都会经历轻微的异突间长期抑制（“总权重限制规则”）18。此外，在皮质中，每个神经元倾向于目标特定的发放率，突触强度会调节以保持这种发放率的稳定，尽管输入受到干扰19。突触缩放作为突触强度的全局负反馈控制，根据神经元的局部活动调节权重变化20-22。这些稳态机制通常在标准ANN的训练中不予考虑，而是依赖全局信号而非局部信息23,24。实际上，BP算法依赖于通过逐个权重分配错误的简化训练策略。每个突触权重的更新基于其对网络全局输出错误在特定输入样本下的个别贡献。我们称这种特定输入的贡献为输入驱动责任。尽管早期的研究尝试通过权重依赖学习规则26-29在网络训练中编码元可塑性（即突触可塑性的改变）的，但它们依赖于对Hebbian学习规则的调制，而不是ANN的训练，并且不考虑局部权重分布。一些比BP更生物学上可行的训练策略16，如反馈对齐（FA）算法30及其直接和间接反馈对齐（DFA，IFA）变体31，已经被提出，但它们并未明确地建模上述神经机制。

在这里，我们通过提出一种受生物学启发的优化器，结合突触整合、异突间竞争32和突触缩放19等生物学原理，进展了神经生理学洞察与机器智能的融合，取得了在全连接神经网络（FCNNs）的训练中实质性的收益，包括更快的训练收敛、更高的推断准确性和减轻灾难性遗忘。我们的新方法还有效地提升了卷积神经网络（CNNs）和脉冲神经网络（SNNs）在时间数据上的性能33。这些结果验证了受生物启发的人工神经网络和脉冲神经网络模型在软件模拟中具有卓越性能的假设34，并提供了设计新一代神经形态计算技术的指导35。