arXiv cs.AI· Ben Slater, Ryan Lundqvist, Leo Richter, Kevin Wei·· 8 小时前AI 评分29
研究：给 AI 审计员提供额外上下文会显著影响其审计结果
Audit tools of the trade: Automated Auditor Elicitation Can Be Sensitive to the Context the Auditor Is Given
AI 导读
一项用 Petri 工具审计 LLM 编程智能体的研究发现，向 LLM 审计员提供外部代码库会抑制 reward hacking 评分（如从 4.8 降至 1.3），而提供基准测试记录反而会抬高该评分（某例从 1.7 升至 6.1）。除 reward hacking 外，两种资源均未产生一致效果，但不同配置下评审打分的行为差异很大。
来源：arXiv cs.AI · arxiv.org