Ember：面向 Token 接口的千字节级优化器

研究者提出 Ember，一种专为 embedding 和 LM-head 矩阵设计的轻量优化器，仅需 O(V+D) 优化器显存而非 Adam 的 O(2VD)，且无需对 token 表优化器状态分片。在两组数据集、三个配对种子的 50k 步预训练中，Ember 相比调优后的 AdamW 将验证损失降低 0.08-0.09 nats，并提供可与现有 ZeRO/FSDP 设置干净合并的分布式实现。