Treffer: Effet d'un masquage d'impulsions sur la consommation énergétique d'un SNN : application au Spikformer

Les réseaux de neurones impulsionnels offrent une alternative économe en énergie aux réseaux neuronaux traditionnels. Cependant, bien que les Transformers impulsionnels, comme Spikformer, soient naturellement plus économes en énergie que leurs homologues non impulsionnels, ils restent coûteux en calcul et redondants dans le traitement des impulsions. Cette étude évalue l'impact de la méthode Random Spike Masking (RSM) qui vise à masquer les impulsions redondantes et ainsi réduire sa consommation énergétique. RSM est appliqué sur Spikformer, une architecture de type Transformer totalement impulsionnelle. L'évaluation porte sur les ensembles de données neuromorphiques (CIFAR10-DVS, DVS Gesture) et montre que RSM réduit la consommation d'énergie jusqu'à 70% avec une perte de précision négligeable.
Spiking neural networks offer an energy-efficient alternative to traditional neural networks. However, although Spiking Transformers, such as Spikformer, are naturally more energy-efficient than their non-spiking counterparts, they remaincomputationally expensive and redundant in processing spikes. This study, evaluates the impact of the Random Spike Masking(RSM) method, which aims at masking redundant spikes and thus at reducing energy consumption. RSM is applied to Spikformer, a fully spiking transformer architecture. The evaluation is done on neuromorphic datasets (CIFAR10-DVS, DVS Gesture) and show that RSM reduces energy consumption by up to 70% with a negligible accuracy loss.