研究者提出SynthSelf小模型持续后训练方法

1. 12:00
   arXiv cs.AI

   SynthSelf：用合成自蒸馏实现小模型持续后训练

   针对小模型难以进行持续后训练的问题，研究者提出合成自蒸馏（SynthSelf），将 SDFT 的分布内改写任务外包给同族、略大的对齐模型，并结合离策略监督与拒绝采样提供高质量监督。在 4 个能力获取数据集和 14 个知识保留基准上，SynthSelf 在 3 种小模型规模下持续优于包括离策略与在策略蒸馏在内的 6 种方法。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。