新框架用0.22%预算完成推理后训练
热点事件持续更新
新框架用0.22%预算完成推理后训练
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
研究者 Suorong Yang 等人提出“不确定性引导的渐进收缩框架”,用于大语言模型的推理后训练。该方法围绕中间推理状态构建蒙特卡洛推理树来刻画过程级不确定性,先把原始语料收缩为紧凑的教师信息池,再在监督微调(SFT)中按学生模型的学习状态进行在线路由。 据该研究称,在多种推理基准和 LLM 系列上,该方法仅使用全量数据 SFT 的 0.22% 优化预算、训练曝光减少超过 450 倍,仍能保持或提升推理性能,并可跨异构学生模型、黑盒教师以及弱到强迁移泛化。上述效果为作者在论文中的报告,尚待独立验证。
AI 根据报道生成 · 4 小时前更新
最新进展10月12日 12:00
不确定性引导的渐进收缩框架:用 0.22% 优化预算实现高效推理后训练报道时间线
沿着报道,了解事件的不同侧面。
10月12日
- arXiv cs.AI不确定性引导的渐进收缩框架:用 0.22% 优化预算实现高效推理后训练
研究者提出不确定性引导的渐进收缩框架,通过围绕中间推理状态构建蒙特卡洛推理树来刻画过程级不确定性,先将原始语料收缩为紧凑的教师信息池,再在 SFT 中按学生演化学习状态进行在线路由。在多种推理基准和 LLM 系列上,该方法仅用全量数据 SFT 的 0.22% 优化预算、训练曝光减少超 450 倍,仍保持或提升推理性能,并可跨异构学生模型、黑盒教师和弱到强迁移泛化。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月12日 13:00
- 近 24 小时变化
- –
02.557.510
13:0014:0015:0016:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。