研究揭示Grokking正则化驱动动态
热点事件持续更新
研究揭示Grokking正则化驱动动态
1 篇报道1 个报道来源9 小时前更新
先了解这件事
报道摘要
研究通过短时固定权重衰减(WD)扰动扫描 Grokking 泛化前的平台期,发现扰动对泛化时间的影响在平台期早期无序,随后在可见泛化前形成稳定的剂量排序:WD 增强导致更早泛化,WD 减弱导致更晚泛化。
摘自 arXiv cs.LG
最新进展10月7日 12:00
研究揭示 Grokking 中正则化驱动动力学的涌现规律报道时间线
沿着报道,了解事件的不同侧面。
10月7日
- arXiv cs.LG研究揭示 Grokking 中正则化驱动动力学的涌现规律
研究通过短时固定权重衰减(WD)扰动扫描 Grokking 泛化前的平台期,发现扰动对泛化时间的影响在平台期早期无序,随后在可见泛化前形成稳定的剂量排序:WD 增强导致更早泛化,WD 减弱导致更晚泛化。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。