arXiv cs.LG· Mingyi Li, Taira Tsuchiya·· 3 小时前AI 评分12
策略优化如何消除对抗性 MDP 中的 horizon 差距
Closing the Horizon Gap in Policy Optimization for Adversarial MDPs
AI 导读
针对带对抗损失和 bandit 反馈的在线 episodic 表格 MDP，研究者用正则化 Q 函数联合控制所有状态-动作对的局部更新稳定性，消除了策略优化与占用度量类算法之间相差 horizon H 倍的遗憾界差距。新算法在已知转移下达到 Õ(√HS(H+A)T)、未知转移下达到 Õ(HS√AT) 的高概率遗憾界，后者与已知最优界持平，并进一步扩展到对抗性线性混合 MDP。
来源：arXiv cs.LG · arxiv.org