arXiv cs.CL· Jie Cao, Tianwei Lin, Juekai Lin, Zhenxuan Fan, Yunqi Cao, Bo Yuan, Ziyuan Zhao, Rolan Yan, Wenqiao Zhang, Siliang Tang·· 5 小时前AI 评分30
Draft-Thinking:在长链思维 LLM 中学习高效推理
Draft-Thinking: Learning Efficient Reasoning in Long Chain-of-Thought LLMs
AI 导读
Draft-Thinking 是一种轻量适配框架,通过学习模型自适应的精简草稿 CoT 来降低长链思维推理成本。它用 847 道训练题和 120 步 RL 优化,在 MATH500 上把平均响应长度从 5,668 降至 986 tokens(减少 82.6%),准确率 90.6%,原长 CoT 模型为 93.0%。该方法无需事后轨迹压缩或显式长度惩罚奖励,推理时提供草稿、自适应、逐步三种模式。
来源:arXiv cs.CL · arxiv.org