arXiv cs.LG· Ravenor Davion, Nick Rui·· 12 小时前AI 评分19
特权上下文如何影响 On-Policy 自蒸馏中的策略漂移
Privileged Context as Drift in On-Policy Self-Distillation
AI 导读
研究用 Qwen2.5-7B 在 9 种特权上下文组合和 3 个数据集上做 On-Policy 自蒸馏（OPSD），考察内容（演示、反馈、改写）与来源（外部、带验证器自生成、无验证器自生成）对策略漂移的影响。
来源：arXiv cs.LG · arxiv.org