arXiv cs.LG· Robert Jenkinson Alvarez·· 7 小时前AI 评分15
预测并非充分的记忆状态：精确累积学习与注意力的记忆状态刻画
Prediction Is Not a Sufficient Memory State
AI 导读
论文刻画了"能复现当前预测"与"能继续学习"之间的记忆状态差异：对光滑凸残差损失，固定维度的连续循环状态存在当且仅当损失为多项式，且无权重观测下次数 D 需恰好 r=binom(d+D,D)-1 个坐标。岭回归中精确状态需 dp+d(d+1)/2 个坐标，而仅存预测器只需 dp；核注意力给出第二类精确闭包分类。
来源：arXiv cs.LG · arxiv.org