逆推理模型实现仅答案数据的后训练

研究提出一种自蒸馏技术：训练一个“逆推理 LLM”，让它根据答案反推出原始模型的推理链，从而在只有答案数据、没有人工推理过程的情况下完成推理后训练。 在 Qwen3-0.6B 上，当 GRPO 训练饱和后，单轮离线蒸馏使困难提示的 pass@1 约翻倍；在 Countdown 任务上，各混合比率的困难尾部指标均优于拒绝采样自蒸馏。该结果由论文作者 Eric O. Korman 等提出并验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。