arXiv cs.LG· Ohad Rubin·· 3 小时前AI 评分24
从受控预训练混合数据到代码的条件迁移
Conditional Transfer from Controlled Pretraining Mixtures to Code
AI 导读
研究将合成任务的诊断性、可教性与迁移性拆分为三个信号,在70%固定Python语料加30%三类来源混合的受控预训练中发现,27个任务中14个具备可教性,精选合成任务为10/12,文献衍生探针任务仅4/15。
来源:arXiv cs.LG · arxiv.org