arXiv cs.CV· Miko{\l}aj Pi\'orczy\'nski, Wojciech Masarczyk, Damian S\'ojka, Sebastian Cygert, Bart{\l}omiej Twardowski·· 5 小时前AI 评分18
基于表征的测试时自适应为何无法拯救多模态大模型：MLLM 视觉 token 偏移近乎正交
On the Limits of Representation-Based Test-Time Adaptation for Multimodal LLMs
AI 导读
研究发现，基于表征的测试时自适应（TTA）无法恢复多模态大模型（MLLM）在常见损坏下的准确率，即便违规使用目标数据做离线样本盲特征对齐，也只能带来边际提升。作者将失败归因于 MLLM 视觉 token 序列的偏移近乎正交、覆盖整个嵌入空间，而 CLIP 类模型在单一池化分类嵌入中共享域偏移方向。
来源：arXiv cs.CV · arxiv.org