跳到正文
arXiv cs.AI· Xiaoli Liu, Yujie Liang, Jialin Li, Chenxiao Dou, Malu Zhang·· 11 小时前AI 评分24

SpikeMoE:受大脑启发的脉冲混合专家竞争路由框架

SpikeMoE: Brain-Inspired Competitive Routing for Flexible Spiking Mixture-of-Experts

AI 导读

SpikeMoE 将神经元尺度的脉冲动力学与模型尺度的专家选择相结合,提出受海马 CA1 区竞争抑制机制启发的脉冲 k-WTA Router,通过侧向抑制和不应期按离散脉冲计数选择 Top-K 专家。该框架还配备两阶段缺失模态建模模块,在视觉、语言和多模态基准上达到 SNN 基线中的 SOTA,性能匹配或超越 ANN 对应方案,并在多种缺失模态条件下保持稳健。

来源:arXiv cs.AI · arxiv.org