研究质疑 HELM Safety 安全基准测量效度

一项心理测量学审计发现，HELM Safety 安全基准中可能用于测量"有害拒绝"的四个数据集里，有三个已饱和，无法区分模型表现；仅剩的 HarmBench 经多维项目反应理论建模后，强烈显示其并未测量单一属性。 差异项目功能分析还发现，来自不同开发者的模型在相同拒绝能力下得分不同，这种差异在按范围匹配后基本消失。研究作者 Christopher M. Stewart 等人据此认为，任何对数据集和题目取平均的安全分数都可能掩盖饱和并混淆不同行为。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。