动作塑形：策略只吸收其能表达的动作偏移

论文提出"动作塑形"原理：可训练策略会吸收其输出层能精确复现的动作偏移，被吸收的偏移可在部署时移除且回报不变。最小实例是学习门控后的零初始化线性头，门控会自行先升后降，在 20 个任务上移除该头几乎无代价。该吸收条件取决于精确复现而非容量，非线性头即使参数更多也不会被吸收。