Transformer 竟是弹性的：无需重训练即可按算力预算动态伸缩

研究者提出一种免重训练方法，可将预训练 Transformer 弹性化为单一模型，在运行时按不同算力预算动态调整。该方法对每个 MLP 神经元和注意力头在统一尺度上联合排序，在 22M 至 8B 参数的 27 个视觉与文本 Transformer 编码器上实现最高 60% 稀疏度下的平滑退化。