跳到正文
热点事件持续更新

研究揭示Grokking正则化驱动动态

1 篇报道1 个报道来源9 小时前更新

先了解这件事

报道摘要

研究通过短时固定权重衰减(WD)扰动扫描 Grokking 泛化前的平台期,发现扰动对泛化时间的影响在平台期早期无序,随后在可见泛化前形成稳定的剂量排序:WD 增强导致更早泛化,WD 减弱导致更晚泛化。

摘自 arXiv cs.LG

报道时间线

沿着报道,了解事件的不同侧面。

10月7日
  1. arXiv cs.LG
    研究揭示 Grokking 中正则化驱动动力学的涌现规律

    研究通过短时固定权重衰减(WD)扰动扫描 Grokking 泛化前的平台期,发现扰动对泛化时间的影响在平台期早期无序,随后在可见泛化前形成稳定的剂量排序:WD 增强导致更早泛化,WD 减弱导致更晚泛化。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。