arXiv cs.CV· Xinkai Lu, Junli Zha, Haolan Wei, Jiahui Wang, Chao Zhou, Xiang Song·· 2 小时前AI 评分17
面向视频语言模型的时序响应引导潜在蒸馏（TRG）
Redirecting Teacher Supervision: Temporal-Response-Guided Latent Distillation for Video-Language Models
AI 导读
针对视频语言模型的 on-policy 蒸馏，研究者提出时序响应引导（TRG），通过测量表征对局部时序扰动的响应来调整教师监督方向，同时保留余弦损失值与对齐表征梯度范数。在 TempCompass、Video-MME、MVBench 和 Video-MMMU 上，TRG 将 4B 学生模型的宏平均准确率较仅输出蒸馏基线提升 2.86 个百分点。
来源：arXiv cs.CV · arxiv.org