arXiv cs.LG· Peilong Zhou, Hongtao Zhang, Yulong Huang, Cangyuan Li, Mingyu Chen, Ying Wang·· 7 小时前AI 评分27
循环 Transformer 的"会算"不等于"记得住、用得上"
Learning to Compute Is Not Learning to Retain or Reuse in Looped Transformers
AI 导读
循环 Transformer 在循环 32 训练、循环 64 推理时仅保留 22% 的正确答案，而改为监督随机位置可保留 99.8%，随机化训练循环数也有帮助，截断梯度则无效。在上下文 Mealy 机执行中，位置 k 的隐藏向量替换会精确改写后续所有位置（十个模型各 237/237 对），但把位置 k 从循环 k 起固定会使准确率降至 4–6%，从循环 k+4 起固定则无影响。
来源：arXiv cs.LG · arxiv.org