PreSO：特权表示隔离的在线自蒸馏方法

Yuhang Yang 等作者提出 PreSO，一种面向在线策略自蒸馏的特权表示隔离方法。它通过紧凑提示限制解特定细节进入特权表示偏移，并从跨问题池化的偏移中估计低秩子空间，将特权修正投影后叠加到学生表示上作为蒸馏目标。 在五个竞赛级数学基准上，PreSO 在 Qwen3-1.7B、4B、8B 上平均准确率分别较基座模型提升 6.8、9.0、10.0 分，且各规模最终 checkpoint 平均成绩均为最高。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。