arXiv cs.CV· Vatsal, Soumil Malhotra, Priyanshu Chahal, Sanjeev Kumar·· 5 小时前AI 评分22
Prune-and-Merge ViT：无需训练的 Vision Transformer token 压缩方法
Scaling Vision Transformers Without Training: Prune-and-Merge Token Compression
AI 导读
研究者提出 Prune-and-Merge ViT，一种面向现成模型的免训练 token 压缩框架，结合基于 class attention 的剪枝与基于相似度的合并来减少冗余。在预训练的 ViT 和 DeiT 上，该方法在降低计算量的同时保持了鲁棒性，准确率优于现有 token 缩减方法。团队还提出 RAD 和 PFR 两项指标评估鲁棒性，分析显示混合 token 缩减不会引入类幻觉行为。
来源：arXiv cs.CV · arxiv.org