arXiv cs.CL· Andong Hua, Colton Bishop, Igor Mordatch, Arian Hosseini, Jindong Gu, Aleksandra Faust, Rebecca Roelofs, Yao Qin·· 1 天前AI 评分30
TokenSwap：多模态 LLM 模态差距的基准测试与缓解方法
TokenSwap: Benchmarking and Reducing the Modality Gap in Multimodal LLMs
AI 导读
研究者提出 TokenSwap，通过将文本概念替换为语义对齐的图像，构建视觉 token 与文本 token 交错的输入，并据此把 MMLU 等文本基准改造成 TokenSwap-Bench。
来源：arXiv cs.CL · arxiv.org