arXiv cs.LG· Sourabh Kasliwal·· 6 小时前AI 评分22
面向 Tiny Transformer 算术推理的算法草稿本与课程分级
Algorithmic Scratchpads and Curriculum Staging for Arithmetic Reasoning in Tiny Transformers
AI 导读
一项研究用约 10.6M 非嵌入参数（总计 49.3M）的 Tiny Transformer 在合成数据上训练加减乘除的逐步草稿本，发现连续序列打包可修复 83% 梯度饥饿导致的准确率从 40% 跌至 1% 的问题，语言预训练为必要前提（缺失时 ≤2.0%）。
来源：arXiv cs.LG · arxiv.org