研究：语言模型数值自报告不可靠

研究者 Nicolas Martorell 与 Bruno Bianchi 发布扩展修订研究，在 8 个指令微调模型（1B–27B）中为 wellbeing、interest、focus、impulsivity 四个情感概念训练探针，追踪多轮对话中的内部状态变化。结论是：不应把语言模型的数值自报告当作测量这些状态的可靠手段。 研究发现，评分问题本身会改变被探测的状态：模型给出的评分与提问前的探针分数仅弱相关，却与提问后的探针高度吻合。这种关联还缺乏概念特异性，即评分并不专门对应所问的那个概念，且不随模型规模改善。 作者据此警告提问会影响被问及的内部状态，并提醒不要将数值自报告作为这些状态的可靠测量。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。