arXiv cs.AI· Anand Swaroop·· 8 小时前AI 评分25
潜在算法结构先于 Grokking 出现：ReLU MLP 在模运算上的机制研究
Latent Algorithmic Structure Precedes Grokking: A Mechanistic Study of ReLU MLPs on Modular Arithmetic
AI 导读
研究发现 ReLU MLP 在模加法任务上学习到的是近二值方波输入权重，而非此前报道的正弦分布，输出权重的主导傅里叶相位满足 φ_out = φ_a + φ_b 的相位和关系。研究者用 DFT 提取频率与相位构建理想化 MLP，在从仅 0.23% 准确率的噪声数据模型权重中提取参数时，该理想模型达到 95.5% 准确率。这表明 Grokking 并非发现正确算法，而是锐化记忆阶段已大量编码的算法。
来源：arXiv cs.AI · arxiv.org