Ember：面向token接口的千字节状态优化器
热点事件持续更新
Ember：面向token接口的千字节状态优化器
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
研究者 Kathan Shah 提出 Ember，一种专为 embedding 和 LM-head 矩阵设计的轻量优化器。它只需 O(V+D) 的优化器显存，而 Adam 需要 O(2VD)，并且无需对 token 表的优化器状态做分片。 在两组数据集、三个配对种子的 50k 步预训练中，Ember 相比调优后的 AdamW 将验证损失降低 0.08-0.09 nats。研究者称，Ember 提供了可与现有 ZeRO/FSDP 设置干净合并的分布式实现。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
Ember：面向 Token 接口的千字节级优化器报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv cs.AIEmber：面向 Token 接口的千字节级优化器
研究者提出 Ember，一种专为 embedding 和 LM-head 矩阵设计的轻量优化器，仅需 O(V+D) 优化器显存而非 Adam 的 O(2VD)，且无需对 token 表优化器状态分片。在两组数据集、三个配对种子的 50k 步预训练中，Ember 相比调优后的 AdamW 将验证损失降低 0.08-0.09 nats，并提供可与现有 ZeRO/FSDP 设置干净合并的分布式实现。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。