BehaviorTrace评估工具揭示RL数据归因局限

研究团队发布开源评估工具 BehaviorTrace，用于检验在线强化学习微调中训练数据归因方法是否真实有效。 在 Qwen2.5-1.5B 上以 GRPO 训练三个随机种子后，仅按梯度大小排序的对照方法达到随机水平的 4.2 至 4.5 倍，并在三个种子中的两个上匹配或超越最佳定向估计器；模型流畅度在饱和检查点上对行为标签的预测能力不亚于任何梯度方法。 该工具结合全梯度草图、植入行为设置，并对梯度大小、流畅度、余量以及种子与生成抽样间的差异设置对照。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。