跳到正文
热点事件持续更新

研究:表征式TTA难救多模态大模型

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

一项新研究指出,基于表征的测试时自适应(TTA)无法恢复多模态大模型(MLLM)在常见损坏下的准确率。作者称,即使违规使用目标数据做离线样本盲特征对齐,也只能带来边际提升。 研究将失败归因于MLLM的视觉token序列偏移近乎正交、覆盖整个嵌入空间,而CLIP类模型在单一池化分类嵌入中共享域偏移方向。该结论由Mikołaj Piórczyński等作者在arXiv cs.CV发表。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.CV
    基于表征的测试时自适应为何无法拯救多模态大模型:MLLM 视觉 token 偏移近乎正交

    研究发现,基于表征的测试时自适应(TTA)无法恢复多模态大模型(MLLM)在常见损坏下的准确率,即便违规使用目标数据做离线样本盲特征对齐,也只能带来边际提升。作者将失败归因于 MLLM 视觉 token 序列的偏移近乎正交、覆盖整个嵌入空间,而 CLIP 类模型在单一池化分类嵌入中共享域偏移方向。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。