新token削减调度提升ViT分布外精度
热点事件持续更新
新token削减调度提升ViT分布外精度
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
研究者 Hyeongheon Cha 等人提出一种单参数、后期集中的幂律 token 削减调度，用于视觉 Transformer，在不增加推理成本的前提下持续提升分布外准确率。 在 ImageNet-C 上使用 DeiT-S 测试，该调度在削减 26% 计算量时弥补了 83% 的精度差距（+1.17pp），在削减 7% 时弥补 99%（+0.26pp）。
AI 根据报道生成 · 8 小时前更新
最新进展10月7日 12:00
晚一点更好：分布偏移下 ViT 的 token 削减调度报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- arXiv cs.AI晚一点更好：分布偏移下 ViT 的 token 削减调度
研究者提出一种单参数、后期集中的幂律 token 削减调度，在无额外推理成本下持续提升视觉 Transformer 的分布外准确率。在 ImageNet-C 上用 DeiT-S，该调度在削减 26% 计算量时弥补了 83% 的精度差距（+1.17pp），在削减 7% 时弥补 99%（+0.26pp）。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。