arXiv cs.AI· Yijia Jessica Zhu, David Chiang·· 5 小时前AI 评分24
Transformer 精确解体积与长度泛化研究:INDEX 任务改进模型在 10 倍训练长度下达 85% 准确率
Exact-Solution Volume and Length Generalization in Transformers
AI 导读
研究提出归一化精确解体积(NESV)指标,用于衡量 Transformer 解在更长输入上的泛化能力。对固定宽度单层 Transformer,FIRST 和 MAJORITY 任务的 NESV 为 Θ(1) 和 Θ(1/(n log n)),INDEX 为 Θ(1/n³),PARITY 为 0。
来源:arXiv cs.AI · arxiv.org