研究者提出FUW令牌加权方法用于在线蒸馏

研究者从在线蒸馏目标本身推导 token 重要性，提出效用指标 s_t=g_t^T F_t^† g_t，并据此实例化为 Fisher Utility Weighting（FUW）连续加权方法。该工作由 Narayanan Sadagopan 等作者完成，论文发布在 arXiv cs.LG。 FUW 是一种连续、均值归一化的 token 加权方式，用于在策略蒸馏中对不同 token 赋予不同权重。报道未给出该方法相较既有做法的实验对比或效果结论。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。