研究者推导随机特征Bigram模型精确缩放律

Julian Enoch 与 Elvis Dohmatob 发表论文，为带幂律（Zipf）token 统计的瓶颈 bigram 模型推导出预测遗憾的精确缩放定律，将其作为大语言模型的可解析玩具模型，刻画模型宽度、词表大小与 Zipf 指数的影响。 该结果通过固定随机嵌入，隔离出纯表征容量约束导致的缩放，并在适当区间恢复经典神经缩放定律的函数形式。在 WikiText2 和 OpenWebText 上的实验与预测曲线高度吻合。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。