基于未来状态-动作访问测度的最大熵探索

该研究提出以未来时间步状态-动作特征折扣分布熵为内在奖励的最大熵探索方法，证明其期望总和是初始状态轨迹特征折扣分布熵的下界，且该分布是某收缩算子的不动点，可离策略估计。实验显示新目标常改善单条轨迹内的特征访问，但以略微降低跨轨迹期望访问为代价，并加快纯探索智能体的收敛速度，多数基准上控制性能相近。