arXiv cs.LG· Yiming Lin, Yuxuan Wang·· 10 小时前AI 评分17
研究揭示 Grokking 中正则化驱动动力学的涌现规律
Mapping the Emergence of Regularization-Driven Dynamics in Grokking
AI 导读
研究通过短时固定权重衰减（WD）扰动扫描 Grokking 泛化前的平台期，发现扰动对泛化时间的影响在平台期早期无序，随后在可见泛化前形成稳定的剂量排序：WD 增强导致更早泛化，WD 减弱导致更晚泛化。
来源：arXiv cs.LG · arxiv.org