arXiv cs.AI· Shayan Mohajer Hamidi, Kayhan Behdin, Wenhui Zhu, Aida Rahmattalabi, Jincheng Cao, Jelena Markovic-Voronov, Alborz Geramifard·· 8 小时前AI 评分22
TETPO：通过桥式重要性采样实现平滑方差控制的目标 ESS 温度策略优化
Target-ESS Tempered Policy Optimization (TETPO): Smooth Variance Control via Bridge Importance Sampling
AI 导读
针对大语言模型异步强化学习后训练中重要性权重重尾导致有效样本量（ESS）崩溃的问题，研究者提出目标 ESS 温度策略优化（TETPO），将每个重要性权重 ρ 替换为 ρ^α，α∈[0,1] 由数据自适应确定。
来源：arXiv cs.AI · arxiv.org