研究：Grokking前已潜藏算法结构
热点事件持续更新
研究：Grokking前已潜藏算法结构
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
一项 arXiv 论文研究 ReLU MLP 在模加法任务上的 Grokking 机制，结论是 Grokking 并非模型突然发现正确算法，而是把记忆阶段已大量编码的算法逐步锐化出来。 研究称，模型学到的是近二值方波输入权重，而非此前报道的正弦分布；输出权重的主导傅里叶相位满足 φ_out = φ_a + φ_b 的相位和关系。研究者用 DFT 提取频率与相位构建理想化 MLP，从准确率仅 0.23% 的噪声数据模型权重中提取参数后，该理想模型达到 95.5% 准确率。 据此，作者 Anand Swaroop 认为，Grokking 的过程是输入权重逐步二值化为更清晰的方波、输出权重逐步对齐，直至泛化成为可能。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
潜在算法结构先于 Grokking 出现：ReLU MLP 在模运算上的机制研究报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv cs.AI潜在算法结构先于 Grokking 出现：ReLU MLP 在模运算上的机制研究
研究发现 ReLU MLP 在模加法任务上学习到的是近二值方波输入权重，而非此前报道的正弦分布，输出权重的主导傅里叶相位满足 φ_out = φ_a + φ_b 的相位和关系。研究者用 DFT 提取频率与相位构建理想化 MLP，在从仅 0.23% 准确率的噪声数据模型权重中提取参数时，该理想模型达到 95.5% 准确率。这表明 Grokking 并非发现正确算法，而是锐化记忆阶段已大量编码的算法。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。