循环Transformer：会算不等于记得住

一项 arXiv 论文研究区分了循环 Transformer 的"计算"与"保持、复用"能力。作者 Peilong Zhou 等发现，模型在循环 32 步训练、循环 64 步推理时仅保留 22% 的正确答案；改为监督随机位置可保留 99.8%，随机化训练循环数也有帮助，而截断梯度无效。 在上下文 Mealy 机执行任务中，替换位置 k 的隐藏向量会精确改写后续所有位置（十个模型各 237/237 对），说明状态可被复用；但把位置 k 从循环 k 起固定会使准确率降至 4–6%，从循环 k+4 起固定则无影响。作者据此称，学会计算并不等于学会保持，避免过度思考也不会让状态在其答案首次出现时变得可复用。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。