平均奖励选项Q学习获收敛性保证

Kintan Saha 等作者发表论文，首次为平均奖励设定下的选项 Q-learning 算法给出均方意义下 $\tilde{O}(1/\text{iterations})$ 的收敛保证，覆盖 inter-option 与 intra-option 两种设置。 作者证明两种选项 Bellman 算子在同链假设下满足多步跨度收缩，据此提出对应的同步估计量，导出两种算法变体；随后扩展随机逼近框架，在文献所用的最小假设下证明了两者的收敛速率。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。