随机特征 Bigram 模型的精确缩放定律

研究者为带幂律（Zipf）token 统计的瓶颈 bigram 模型推导出预测遗憾的精确缩放定律，将其作为大语言模型的可解析玩具模型，刻画了模型宽度、词表大小与 Zipf 指数的影响。该结果通过固定随机嵌入隔离出纯表征容量约束导致的缩放，在适当区间恢复了经典神经缩放定律的函数形式。在 WikiText2 和 OpenWebText 上的实验与预测曲线高度吻合。