研究：合成任务预训练数据的可迁移性

一项预训练研究把合成任务的效果拆成诊断性、可教性与迁移性三个信号，在受控条件下检验哪些合成任务真正能迁移到代码能力上。实验固定70%语料为通用Python，其余30%在OpenCodeInstruct、12个精选代码相关合成任务和15个文献衍生探针任务三类来源间调配。 结果显示，27个任务中只有14个具备可教性；精选合成任务表现较好，12个中有10个可教，而文献衍生探针任务仅15个中有4个。作者Ohad Rubin据此认为，合成任务能否用于预训练数据，不能只看其诊断价值，还需分别验证可教性与迁移性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。