半梯度TD收敛性获均值场分析

一篇 arXiv 论文分析了半梯度时序差分学习在两层神经网络、平均场机制下的收敛性与稳定性。作者 Haruki Settai 等人称，熵诱导的松弛可主导移动 bootstrap 目标的敏感度，从而抑制函数逼近带来的非保守向量场与不稳定问题。 在该条件下，作者证明算法指数收敛到唯一不动点，并量化了其相对无正则化 Bellman 解的偏差。同一机制还可通过 soft Q-learning 扩展到熵正则化的离策略控制。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。