arXiv cs.AI· Zhengzheng Tang·· 1 天前AI 评分22
NeuronSpark：面向语言建模的自适应计算选择性脉冲状态空间模型
NeuronSpark: Selective Spiking State Space Models with Adaptive Computation for Language Modeling
AI 导读
NeuronSpark 是一种无需自注意力、基于输入依赖脉冲膜动力学的语言模型，每个神经元的衰减率、增益和发放阈值随当前 token 内容自适应调整，结合门控关联记忆与自适应时间聚合，实现从随机初始化开始的十亿级预训练，无需骨干迁移、转换或蒸馏。
来源：arXiv cs.AI · arxiv.org