arXiv cs.LG· Narayanan Sadagopan, Yilan Chen, Vijay Lingam·· 7 小时前AI 评分22
基于局部信赖域优化的在策略蒸馏 Token 效用方法
Token Utility for On-Policy Distillation via Local Trust-Region Optimization
AI 导读
研究者从蒸馏目标本身推导 token 重要性，提出效用指标 s_t=g_t^T F_t^† g_t，并实例化为 Fisher Utility Weighting（FUW）连续加权方法。
来源：arXiv cs.LG · arxiv.org