arXiv stat.ML· Wenbin Zhou, Michael Lingzhi Li, Shixiang Zhu·· 4 小时前AI 评分18
如何在模型迭代中控制性能回退风险:Safe Meta-Policy Design with Risk Control
Safe Meta-Policy Design with Risk Control
AI 导读
研究提出一种离线元策略方法,在训练未来候选模型之前就规划好策略更新节奏,在最大化预期累积收益的同时,将"更新后表现反而变差"的预期次数控制在预算内。方法从历史学习轨迹中估计切换的价值与风险,把更新计划表示为有向无环图中的路径,并用动态规划选出最优调度。分析显示策略改进的信噪比是决定更新频率、等待时长与风险分配的关键因素,改进越清晰越适合早更新、勤更新。
来源:arXiv stat.ML · arxiv.org