研究者发布TasteBench品味评测基准

Xiaofan Wu等作者发布 TasteBench，一个覆盖视觉、品牌、图书和技术品类的成对好坏评测基准，采用冻结评分标准，金标仅由专家给出（专家组 n>=3，一致率>=0.60 为主要门槛）。作者同时发布参考评测工具和位置随机化工具，称该工具可消除位置偏差（0.916 降至 0.495/0.505）。 在 250 对的 Round-1 试点中，控制协议量化出三种效度威胁：偏好项落在 A 位的概率达 0.956、文件名 token 线索得分 0.912、工艺领域人类一致率接近天花板（图书、品牌、技术均为 1.0）。 作者表示，本次未评估参与度、年代/圈层条件或校准，也不声称取得通用品味的最优结果。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。