TETPO：用目标ESS温度化抑制权重崩溃

研究者提出目标 ESS 温度策略优化（TETPO），用于大语言模型异步强化学习后训练。该方法把每个重要性权重 ρ 替换为 ρ^α，指数 α 在 [0,1] 区间内由数据自适应确定：α=1 时保留原始重要性权重，α=0 时则给所有样本相同系数。 据作者称，这一改动针对的是异步后训练中重要性权重重尾分布导致有效样本量（ESS）崩溃的问题，通过桥式重要性采样实现平滑的方差控制。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。