arXiv cs.AI· Woosung Koh, Hyunsoo Lee, Kyungjae Lee, Haeju Park, Dahyun Lee, Dasol Hwang, Moontae Lee·· 1 天前AI 评分24
SynthSelf：用合成自蒸馏实现小模型持续后训练
Continually Post-training Small Models via Synthetic Self-distillation
AI 导读
针对小模型难以进行持续后训练的问题，研究者提出合成自蒸馏（SynthSelf），将 SDFT 的分布内改写任务外包给同族、略大的对齐模型，并结合离策略监督与拒绝采样提供高质量监督。在 4 个能力获取数据集和 14 个知识保留基准上，SynthSelf 在 3 种小模型规模下持续优于包括离策略与在策略蒸馏在内的 6 种方法。
来源：arXiv cs.AI · arxiv.org