arXiv cs.LG· Arda Fazla, Antesh Upadhyay, Ege C. Kaya, M. Berk Sahin, Abolfazl Hashemi·· 1 天前AI 评分24
自适应批处理为何有助于 LLM 预训练？无界方差视角下的解释
Why Does Adaptive Batching Help LLM Pretraining? A Perspective from Unbounded Variance
AI 导读
研究提出广义 BG-a 噪声模型，在方差有界（a=0）与 BG-0 噪声（a=2）之间插值，并推导出增长相关的信息论下界 Ω(ε^-(4+a)) 及匹配上界。基于此设计的自适应批调度器在 C4 上预训练最高 1B 参数的 OLMo2 模型，在相同 token 预算下验证损失低于固定小批量与大批量训练，且迭代次数不到小批量训练的 10%。
来源：arXiv cs.LG · arxiv.org