arXiv cs.LG· Yiding Song, Hanming Ye·· 7 小时前AI 评分18
模型容量如何决定 Grokking：记忆与泛化速度的竞争
Model Capacity Determines Grokking through Competing Memorisation and Generalisation Speeds
AI 导读
一项信息论研究揭示，Grokking 并非模型容量大到足以记住训练集时立即出现，而是记忆速度 T_mem(P) 与泛化速度 T_gen(P) 两种可测量时间尺度竞争的结果，二者均为模型参数量 P 的函数。研究在模运算任务上估算这两个时间尺度，发现 Grokking 恰好在二者相交的参数规模附近涌现，并据此提出一个根据模型容量与数据复杂度预测记忆速度的经验模型，印证了更大模型记忆更快的观察。
来源：arXiv cs.LG · arxiv.org