研究：Grokking 源于记忆与泛化速度竞争

一项信息论研究提出，Grokking 并非模型容量大到足以记住训练集时立即出现，而是记忆速度 T_mem(P) 与泛化速度 T_gen(P) 两种可测量时间尺度竞争的结果，二者均为模型参数量 P 的函数。 研究在模运算任务上估算这两个时间尺度，发现 Grokking 恰好在二者相交的参数规模附近涌现，并据此提出一个根据模型容量与数据复杂度预测记忆速度的经验模型，印证了更大模型记忆更快的观察。该研究由 Yiding Song、Hanming Ye 提出。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。