arXiv cs.CL· Ali Zamani, Soroush Esfahanian, Erfan Shahabi, Mohammad Taher Pilehvar, Azadeh Shakery, Yadollah Yaghoobzadeh·· 5 小时前AI 评分30
PerSo:在真实说服场景中考察 LLM 社会智能的多个维度
PerSo: Investigating Facets of LLMs' Social Intelligence in Real-World Persuasion Scenarios
AI 导读
研究者推出 PerSo 基准,基于 Reddit ChangeMyView 社区的真实说服对话,用 LLM-in-the-loop 流程构建评测任务并经人工标注验证,同时考察 LLM 的认知智能与行为智能。评测显示模型表现总体随规模提升但各维度不一:最强 LLM 在行为任务上略超最佳人类表现,而最佳人类参与者在认知任务上仍保持领先。
来源:arXiv cs.CL · arxiv.org