超越状态级镜像下降：基于参数化策略的离线策略优化

该研究将离线强化学习的理论保证扩展到大规模或连续动作空间上的参数化策略类，突破了PSPI等算法仅适用于有限小动作空间、依赖状态级镜像下降且需从critic隐式导出actor的限制。作者识别出上下文耦合是镜像下降扩展到参数化策略的核心难点，并通过将其与自然策略梯度建立联系，给出了新的分析、保证与算法洞见，包括离线RL与模仿学习之间出人意料的统一。