arXiv cs.AI· Yunji Wang, Junjie Yao, Linyu Liu, Pinyan Lu, Zhi-Qin John Xu·· 3 小时前AI 评分18
概率签名动力学:两层网络如何学会模加法
Probability-Signature Dynamics: Unpacking Modular Addition Learning Within Two-Layer Networks
AI 导读
研究用概率签名刻画梯度交互,发现模加法任务中签名是循环移位算子,可被离散傅里叶变换对角化,从而导出近似解耦的傅里叶模态动力学,解释了傅里叶稀疏性、频率匹配与相位对齐的出现。该框架还解释了标签噪声下损坏样本早期损失下降更快的现象:噪声增加条件标签碰撞,强化早期共享坐标。方法可推广至其他算子,以 XOR 为例实验观测到预测频率。
来源:arXiv cs.AI · arxiv.org