arXiv cs.CV· Huaiyuan Qin, Muli Yang, Gabriel James Goenawan, Peng Hu, Chen Gong, Xi Peng, Hongyuan Zhu·2026-10-15 12:00· 5 小时前AI 评分22

研究发现 Attention Transfer 对 Vision Transformer 并非普遍有效

Attention Transfer Is Not Universally Effective for Vision Transformers

AI 导读

一项发表于 NeurIPS 2026 的研究在 11 个 ViT 家族、20 个教师模型的基准上重新检验 Attention Transfer，发现 7 个家族可成功迁移，4 个家族持续失败，最低比从头训练的无迁移基线低 5.1%。

来源：arXiv cs.CV · arxiv.org