arXiv cs.LG· Nicolas Martorell, Wendy Brau, Gonzalo A. Heredia, Tom\'as Pablo Korenblit, Gaspar Labasti\'e, Tom\'as Gimenez Molina·· 1 天前AI 评分27
PowerBench：衡量语言模型在权力转移请求中的偏见
PowerBench: Measuring Language Model Bias in Power-shifting Requests
AI 导读
研究者推出 PowerBench，用于评估语言模型在权力转移请求中的偏见，区分自我赋权、去权和夺权三类请求，并设置不涉及权力转移的拒绝诱导请求作为对照。该基准开源了覆盖不同权力领域、情境、受影响方规模和用户原有权力地位的数据集，在三种实验条件下评测了 24 个模型（12 个来自美国、12 个来自中国开发者）。
来源：arXiv cs.LG · arxiv.org