VLM微调语义能力轨迹研究：能力峰值与特化

一项发表于 arXiv 的研究追踪了视觉语言模型微调过程中语义能力的轨迹，发现微调能在预训练基础上获得新的语义能力，且不同能力在不同训练阶段达到峰值。 研究在 DFN、MetaCLIP 和 OpenAI CLIP 六种预训练骨干上测试，结构化语义路由（SSR）配合随机名称分支 dropout 显著提升了无名称属性画像检索。研究同时指出，按目标类名检索选出的 checkpoint 未必对应可迁移的语义最优，持续优化可能削弱此前获得的可迁移语义能力。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。