反事实干预显示PPO价值函数学到世界模型

研究者用反事实干预方法，在保持状态其余部分不变、仅做定向改动的条件下，探究PPO智能体的价值函数是否在Crafter环境中形成了世界模型。 结果显示，尽管该智能体仅以优化奖励为目标训练，其价值函数仍学到了钻石何时可收集、水和食物影响健康、以及库存相关启发式等概念。作者还讨论了这些可视化带来的安全启示，以及当前强化学习智能体阻碍构建真正先进机器智能的若干缺陷。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。