跳到正文
arXiv cs.CL· Nataliya Stepanova, Ivan Titov, Emily Allaway, Bj\"orn Ross·· 9 小时前AI 评分24

缺失的最小对:LLM 中的刻板印象评估

The Missing Minimal Pair: Stereotype Evaluation in LLMs

AI 导读

针对大语言模型偏见评估中单对对比句不可靠的问题,研究者提出双最小对(dual minimal pair)评估框架,通过改写与替换属性生成英文、俄语、西班牙语和中文的刻板印象数据,并设计两项评估指标,其中一项基于社会群体与刻板属性间互信息(MI)的新指标更适合跨语言、跨模型聚合比较。代码已开源。

来源:arXiv cs.CL · arxiv.org