Spora脉冲语言模型编码与注意力联合设计
热点事件持续更新
Spora脉冲语言模型编码与注意力联合设计
1 篇报道1 个报道来源2 小时前更新
先了解这件事
报道摘要
脉冲语言模型新方案 Spora 联合设计脉冲编码与注意力算子，用二进制时间权重让 T 个脉冲承载最多 T bits 的组合值，而脉冲计数读出仅 O(log₂T) bits。在四个时间步下，Spora 取得 76.6 平均 GLUE 分数和 44.1 CoLA MCC，分别比 SpikeLM 提升 1.2 和 6.2 分；扩展到六步后升至 78.2 和 47.4。
摘自 arXiv cs.LG
最新进展10月9日 12:00
Spora 重新审视脉冲语言模型中时间编码与非线性计算的权衡报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv cs.LGSpora 重新审视脉冲语言模型中时间编码与非线性计算的权衡
脉冲语言模型新方案 Spora 联合设计脉冲编码与注意力算子，用二进制时间权重让 T 个脉冲承载最多 T bits 的组合值，而脉冲计数读出仅 O(log₂T) bits。在四个时间步下，Spora 取得 76.6 平均 GLUE 分数和 44.1 CoLA MCC，分别比 SpikeLM 提升 1.2 和 6.2 分；扩展到六步后升至 78.2 和 47.4。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。