arXiv cs.AI· Zonghuan Li, Hayley Hung, Chirag Raman·· 8 小时前AI 评分24
GesBench：多模态语言模型何时何地感知社会意义？
GesBench: When and Where Do Multimodal Language Models Perceive Social Meaning?
AI 导读
研究者推出 GesBench，一个面向多模态 LLM 线索级社会感知的人类基准，用累积子话语片段测量模型何时形成对说话人意图和社会可供性的稳定解读，并用人类注视引导的扰动评估人类关注区域对模型判断的功能重要性。该基准基于 6000 余条话语级片段构建，涵盖开放式与闭源多模态模型，发现明显的人机差距：人类更早形成预测性理解且修正更频繁，模型则常在不同片段间含糊或重复。代码已公开。
来源：arXiv cs.AI · arxiv.org