arXiv cs.LG· Achyuthan Sivasankar·· 7 小时前AI 评分22
深度能否在组合中存活，路由器又能否利用它？潜世界模型中的自适应计算
Does Depth Survive Composition, and Can a Router Use It? Adaptive Compute in Latent World Models
AI 导读
研究在九个 DeepMind Control 任务上测试十二块早退潜预测器的两个假设，发现更深预测器更准的假设在其中三个任务上失效，浅层出口在每个随机种子上都比完整堆栈更准。贪心 oracle 按步选深度可比等算力下最佳固定深度混合降低 10-37% 的 rollout 误差，但所训练的路由器均未能捕捉这一收益，难度路由器与固定深度混合差距在 5% 以内。
来源：arXiv cs.LG · arxiv.org