【智脉说】类脑认知引擎Braincog基础 第12期 用Braincog实现基于脉冲时序依赖可塑性的无监督脉冲神经网络

基于类脑突触可塑性的算法一直以来都受到了人们的关注。然而当前此类算法因为其本身的特性仍然不能获得较为理想的性能。因此我们尝试解决stdp训练过程中所带来的问题，并尝试解决他们。

STDP算法是一种广泛存在于大脑中的修改突触权重的学习机制。它是大脑完成各类学习认知任务的神经生物学基础。STDP是一种局部学习算法，它根据神经元突触前后放电的时序关系从而相对应的修改突触权重。然而这种局部学习算法缺少全局的信息，使得它很难收敛。

经过研究我们发现，STDP在训练过程中将会导致卷积权重重复以及不同层之间的输入输出不匹配的问题。如图一所示：

(a)相同颜色内部的卷积核收敛到了相同权重下，同时(b)中上一层的神经元的输出与下一层的输入不在合适的范围内导致的脉冲发放的不稳定性。

因此，我们设计了多个启发自生物的多种自适应机制尝试解决以上问题并提高模型的性能和学习效率。

整体的模型如上，他是由多层神经元构成的脉冲神经网络。为了解决卷积核特征重复的问题，我们改进了原有的侧抑制连接方法，使它可以根据输入自适应的形成动态连接。另外，根据输入输出的不匹配问题，我们同时设计了自适应阈值平衡，在脉冲发放达到一种平衡，这种平衡有效的控制输入输出的分布范围。同时，我们还受到了短时程突触可塑性的启发，设计了一个自适应突触滤波器。它可以帮助神经元更加稳定的发放脉冲。最后，考虑到原本的STDP算法的运算效率低下，我们设计了同时结合不同样本以及不同时间的信息的STB-STDP算法。它极大的提高了模型的运行效率。如下图所示，分别介绍了我们多种的自适应算法。

而在多个数据集上的结果也表明了我们模型的有效性。我在多项数据集上获得基于STDP无监督算法的当前最好结果。我们还进行了消融实验以验证我们提出的多种机制的有效性。

欢迎关注和引用我们的文章：

@article{dong2022unsupervised,  title={An Unsupervised Spiking Neural Network Inspired By Biologically Plausible Learning Rules and Connections},  author={Dong, Yiting and Zhao, Dongcheng and Li, Yang and Zeng, Yi},  journal={arXiv preprint arXiv:2207.02727},  year={2022}}

@article{zeng2022braincog,  title={BrainCog: A Spiking Neural Network based Brain-inspired Cognitive Intelligence Engine for Brain-inspired AI and Brain Simulation},  author={Zeng, Yi and Zhao, Dongcheng and Zhao, Feifei and Shen, Guobin and Dong, Yiting and Lu, Enmeng and Zhang, Qian and Sun, Yinqian and Liang, Qian and Zhao, Yuxuan and others},  journal={arXiv preprint arXiv:2207.08533},  year={2022}}