NeurIPS全称神经信息处理系统大会(Conference on Neural Information Processing Systems)，是机器学习和计算神经科学领域的顶级国际会议。本文将介绍中国科学院自动化所脑图谱与类脑智能实验室在NeurIPS 2023中收录的1篇论文。 

脉冲驱动Transformer 

Spike-driven Transformer 

作者：姚满、胡珈魁、周昭坤、袁粒、田永鸿、徐波、李国齐 

本文提出了首个脉冲驱动Transformer（Spike-driven Transformer），整个网络中只有稀疏加法。所提出的Spike-driven Transformer具有四个独特性质：(1)事件驱动，当Transformer的输入为零时不触发计算；(2)二进制脉冲通信，所有与脉冲矩阵相关的矩阵乘法都可以转化为稀疏加法；(3)所设计的自注意力机制在token和通道维度上都具有线性复杂度；(4)脉冲形式的Query、Key、Value矩阵之间的运算为掩码和加法。总之，所提出的网络中只有稀疏加法运算。为实现这一目标，本文设计了一种新颖的脉冲驱动自注意力(Spike-Driven Self-Attention, SDSA)算子，算子中仅利用掩码和加法进行运算，而不进行任何乘法，因此其能耗比原始自注意力算子低87.2倍。此外，为确保网络中所有神经元间传递的信号为二进制脉冲，本文重新排列了网络中所有的残差连接。实验结果表明，Spike-driven Transformer在ImageNet-1K上可以达到77.1%的 top-1精度，这是SNN领域内的最佳结果。 

图1. Spike-driven Transformer架构图

图2. Spike-driven Self-attention算子 

论文链接： https://arxiv.org/abs/2307.01694 

代码链接： https://github.com/BICLab/Spike-Driven-Transformer