异步 Q-learning 的命中时间界

研究证明，零初始化、常数步长的标准异步 Q-learning 从单条轨迹出发，以 $\widetilde{O}(H^4/(\mu_{\min}\varepsilon^2)+\mathfrak h_\star)$ 次转移即可高概率达到 $\varepsilon$ 的 sup-norm 误差。