研究:表征式TTA难救多模态大模型
热点事件持续更新
研究:表征式TTA难救多模态大模型
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
一项新研究指出,基于表征的测试时自适应(TTA)无法恢复多模态大模型(MLLM)在常见损坏下的准确率。作者称,即使违规使用目标数据做离线样本盲特征对齐,也只能带来边际提升。 研究将失败归因于MLLM的视觉token序列偏移近乎正交、覆盖整个嵌入空间,而CLIP类模型在单一池化分类嵌入中共享域偏移方向。该结论由Mikołaj Piórczyński等作者在arXiv cs.CV发表。
AI 根据报道生成 · 3 小时前更新
最新进展10月15日 12:00
基于表征的测试时自适应为何无法拯救多模态大模型:MLLM 视觉 token 偏移近乎正交报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv cs.CV基于表征的测试时自适应为何无法拯救多模态大模型:MLLM 视觉 token 偏移近乎正交
研究发现,基于表征的测试时自适应(TTA)无法恢复多模态大模型(MLLM)在常见损坏下的准确率,即便违规使用目标数据做离线样本盲特征对齐,也只能带来边际提升。作者将失败归因于 MLLM 视觉 token 序列的偏移近乎正交、覆盖整个嵌入空间,而 CLIP 类模型在单一池化分类嵌入中共享域偏移方向。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。