arXiv cs.LG· Hanfei Liu, Shuchang Feng, Yanxia Chen, Changzeng Fu, Shiqi Zhao·· 3 小时前AI 评分22
Spora 重新审视脉冲语言模型中时间编码与非线性计算的权衡
Rethinking the Tradeoff Between Temporal Encoding and Nonlinear Computation in Spiking Language Models
AI 导读
脉冲语言模型新方案 Spora 联合设计脉冲编码与注意力算子，用二进制时间权重让 T 个脉冲承载最多 T bits 的组合值，而脉冲计数读出仅 O(log₂T) bits。在四个时间步下，Spora 取得 76.6 平均 GLUE 分数和 44.1 CoLA MCC，分别比 SpikeLM 提升 1.2 和 6.2 分；扩展到六步后升至 78.2 和 47.4。
来源：arXiv cs.LG · arxiv.org