可视化 PPO 智能体价值函数中的世界模型

研究者用反事实干预方法，在保持状态其余部分不变、仅做定向改动的条件下，探究 PPO 智能体的价值函数是否在 Crafter 环境中形成了世界模型。结果显示，尽管该智能体仅以优化奖励为目标训练，其价值函数仍学到了钻石何时可收集、水和食物影响健康、以及库存相关启发式等概念。作者还讨论了这些可视化带来的安全启示，以及当前强化学习智能体阻碍构建真正先进机器智能的若干缺陷。