目标去哪了？目标泛化失败中策略对齐的三种不同失效

研究在三个 Procgen 环境和五个机器人任务中发现，目标泛化失败存在三种不同的策略-目标错位形式：功能性目标替换、策略捷径，以及目标线索与代理线索的竞争，目标信息在不同深度上丢失。当目标能到达决策层时，引导可将目标达成率从 16.0% 提升至 95.3%；当目标只到达策略层而未到达决策层时，仅靠下游重连可将达成率从 31.6% 恢复至 84.3%；当目标完全惰性时，两种方法均无效。