跳到正文
arXiv cs.AI· Adrien Deliege, Marc Van Droogenbroeck·· 1 天前AI 评分22

VARC 与 TRM 的预训练和测试时训练预算如何影响 ARC 评测:一项受控研究

Pretraining and Test-Time Training Budgets Matter for ARC: A Controlled Study of VARC and TRM

AI 导读

研究在 ARC-AGI-1 上以统一归纳协议对比 VARC 与 TRM,交叉测试 5 种预训练预算与 4 种测试时训练(TTT)预算。增加 TTT 样本呈现次数可提升两个模型的 pass@2 指标;增加 TTT 任务变体数量只对 TRM 稳定有益,VARC 往往在更少变体下表现更好。VARC 无预训练仍具竞争力,TRM 则更依赖预训练,表明预算设置会影响 ARC 评测结论。

来源:arXiv cs.AI · arxiv.org