跳到正文
热点事件持续更新

研究测试AI能否替代问卷受访者

2 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

一项新研究测试决策模型和生成式大语言模型能否在心理测量问卷中替代真人受访者。研究者用一份立陶宛组织心理学问卷(263名员工、68道题、12个子量表)测试了11家厂商的14个决策模型和47个生成式LLM,以预测个体作答的准确度(PSS)为指标。 结果显示,表现最好的生成模型MiniMax M3的PSS为0.813,与仅用其他真人受访者拟合的高斯copula(0.824)大致持平,但低于样本内copula(0.927)。作者据此认为,这些模型尚不能完全替代真人受访者。 研究还设置了人格披露梯度、呈现方式、推理投入、跨语言消融、反事实人口学替换和记忆探测等条件,并公开了该立陶宛组织心理学数据集。

AI 根据报道生成 · 9 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.AI
    决策模型作为合成问卷受访者的心理测量学审计:MiniMax M3 达 PSS 0.813

    研究用立陶宛组织心理学问卷(n=263,68 题)测试了 11 家厂商的 14 个决策模型和 47 个生成式 LLM 能否替代真人受访者,最佳生成模型 MiniMax M3 的 PSS 为 0.813,与仅用其他受访者拟合的高斯 copula(0.824)持平,低于样本内 copula(0.927)。

  2. arXiv cs.AI
    LLM 作为合成问卷受访者是否可信?一项心理测量学审计

    研究用立陶宛组织心理学数据集(263 名员工、68 个题项、12 个子量表)对 37 个 LLM 做心理测量学审计,提出 Psychometric Similarity Score(PSS)。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。