arXiv cs.CL· Xiaofan Wu, Xi Zeng, Miaoxia Chen, Peishan Chen, Shuyan Li, Chen Wang, Xiaohan Wang, Wanling Xu, Jiyun Yao, Hanyong Zhong, Jiahao Zhu·· 5 小时前AI 评分22
TasteBench：如何构建真正衡量品味的基准测试
How to Build a Benchmark That Actually Measures Taste
AI 导读
研究者推出 TasteBench，一个覆盖视觉、品牌、图书和技术品类的成对好坏基准，采用冻结评分标准与专家金标（专家组 n>=3，一致率>=0.60）。在 Round-1 试点（250 对）中，控制协议量化出三种效度威胁：偏好项落在 A 位的概率达 0.956、文件名 token 线索得分 0.912、工艺领域人类一致率接近天花板（图书/品牌/技术均为 1.0）。
来源：arXiv cs.CL · arxiv.org