arXiv cs.LG· Kintan Saha, Ahana Deb, Anders Jonsson, Debabrota Basu·· 7 小时前AI 评分12
平均奖励选项 Q-learning 的非渐近收敛性研究
Non-asymptotic Convergence of Average-reward Q-learning with Options
AI 导读
研究首次为平均奖励设定下的选项 Q-learning 算法给出均方意义下 $\tilde{O}(1/\text{iterations})$ 的收敛保证，覆盖 inter-option 与 intra-option 两种设置。作者证明两种选项 Bellman 算子在同链假设下满足多步跨度收缩，并提出对应的同步估计量，导出两种算法变体。最后扩展随机逼近框架，在文献所用的最小假设下证明了两者的收敛速率。
来源：arXiv cs.LG · arxiv.org