arXiv cs.CV· Zhenghao Zhao, Chi Zhang, Qingshuang Chen, Yelin Kim·· 1 天前AI 评分22
GRAFT：通过持续教师蒸馏扩展凝聚式视觉基础模型
GRAFT: Growing Agglomerative Foundation Models via Continual Teacher Distillation
AI 导读
GRAFT 是一个持续多教师蒸馏框架，让统一骨干网络从开放序列的基础模型中逐步获取能力，新增教师时只需一次蒸馏而非全量重蒸馏。它引入 Teacher Specific Readout Tokens 为每个教师提供独立读出，并用 Geometry Agnostic Relational Loss 对齐视觉语言教师。
来源：arXiv cs.CV · arxiv.org