arXiv cs.AI· Hyeongheon Cha, Hyungjun Yoon, Sung-Ju Lee·· 5 小时前AI 评分22
晚一点更好：分布偏移下 ViT 的 token 削减调度
Later Is Better: Token Reduction for ViTs Under Distribution Shift
AI 导读
研究者提出一种单参数、后期集中的幂律 token 削减调度，在无额外推理成本下持续提升视觉 Transformer 的分布外准确率。在 ImageNet-C 上用 DeiT-S，该调度在削减 26% 计算量时弥补了 83% 的精度差距（+1.17pp），在削减 7% 时弥补 99%（+0.26pp）。
来源：arXiv cs.AI · arxiv.org