arXiv cs.CL· Fei Wu, Zhenrong Zhang, Jianshu Zhang, Jun Du·· 5 小时前AI 评分24
VASPO：用特权价值估计做自蒸馏的策略优化方法
VASPO: Self-Distillation with Privileged Value Estimation
AI 导读
VASPO 将特权信息同时交给自教师和 critic，在 PPO 框架内实现自蒸馏：critic 基于预测的续写回报计算 token 级 PPO 优势，自教师则用有界概率比调制选定的正向优势。
来源：arXiv cs.CL · arxiv.org