arXiv cs.CL· Noy Sternlicht, Simra Shahid, Peter Jansen, Daniel S. Weld, Pao Siangliulue, Tom Hope·· 5 小时前AI 评分41
研究揭示基于 LLM 的新颖性评估极不稳定：提示词微调可致准确率波动超 50 分
Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation
AI 导读
一项系统性对照研究测试了六款 LLM 新颖性评审模型，发现仅告知评审模型"审稿人认为其中一个想法新颖、另一个不新颖"，就能让超过一半的相同想法对改变判定，成对准确率波动超 50 分，有时甚至低于随机水平。检索增强和更大推理预算帮助有限，两个专用新颖性评估器表现不及最廉价的提示词基线。
来源：arXiv cs.CL · arxiv.org