arXiv cs.AI· Ro Encarnaci\'on, Tina Behzad, Emma Lurie, Dana\'e Metaxa·· 6 小时前AI 评分33
当前 AI 基准测试遗漏了什么：模态、搜索、引用及其对安全评估的影响
What Current AI Benchmarks Leave Unmeasured: Modality, Search, Citations, and Implications (for Safety Evaluations)
AI 导读
一项针对 ChatGPT 聊天 UI 与 OpenAI API 两种访问模态的审计发现，在 BBQ 和 SafetyBench 两个基准上，关闭搜索时聊天 UI 准确率低于 API；启用网页搜索后准确率最多下降 8 个百分点，甚至在一个基准上逆转了模态表现趋势。
来源：arXiv cs.AI · arxiv.org