论文提出统一约束视角的鲁棒强化学习正则化方法

Amine Andam、Jamal Bentahar 和 Mustapha Hedabou 发表论文，为基于正则化的鲁棒强化学习提出统一框架。作者推导出名义策略与最坏情况策略性能差距的新上界，每个上界可表示为现有正则化目标加上两者间的 KL 散度惩罚，据此解释了实践中加入 KL 惩罚能提升鲁棒性的原因。 作者进一步将鲁棒训练建模为约束优化问题，指出现有方法对应固定 Lagrange 乘子的特例，并让乘子与策略联合更新以自动调节正则化权重。论文称在多个连续控制任务上通过对抗评估验证了上述理论分析。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。