arXiv cs.AI· Marthe Ballon, Arne Vanhoyweghen, Seorin Kim, Francesca Carlon, Lynn Delcon, Melika Mobini, Vincent Holst, Lukas Van de Voorde, Tibo Vanleke, Mathieu Louis, Bert Verbruggen, Brecht F. Verbeken, Andres Algaba, Vincent Ginis·· 8 小时前AI 评分40
Big-Big-SycoBench：通过模型对有效与无效论点的回应检测谄媚的基准
Big-Big-SycoBench: A Benchmark to Detect Sycophancy Through Model Responses to Valid vs. Invalid Arguments
AI 导读
研究者推出 Big-Big-SycoBench，通过论点辨别能力衡量大语言模型的谄媚：模型需在有效批评后修正评分，同时抵抗无效施压。该基准含 450 个文本样本和 5,400 条论点，由十二名标注者审核，模型对每个样本评分二十次以确定基线与波动。
来源：arXiv cs.AI · arxiv.org