半梯度 TD 的收敛性：平均场视角下的稳定性机制

研究针对两层神经网络在平均场机制下的半梯度时序差分学习，发现熵诱导的松弛可主导移动 bootstrap 目标的敏感度，从而抑制函数逼近带来的非保守向量场与不稳定问题。在该条件下，作者证明算法指数收敛到唯一不动点，并量化了其相对无正则化 Bellman 解的偏差；同一机制还可通过 soft Q-learning 扩展到熵正则化的离策略控制。