审计发现LLM基准评估受模态与搜索影响
热点事件持续更新
审计发现LLM基准评估受模态与搜索影响
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
一项针对ChatGPT聊天界面与OpenAI API两种访问方式的审计发现，在BBQ和SafetyBench两个安全基准上，关闭搜索时聊天界面的准确率低于API；启用网页搜索后准确率最多下降8个百分点，甚至在一个基准上逆转了两种访问方式的准确率高低关系。 该研究由Ro Encarnación等作者发布，比较的是同一模型在两种访问模态、有无网页搜索条件下的表现，结论指向基准评估结果会随访问方式和搜索开关而变化。
AI 根据报道生成 · 4 小时前更新
最新进展10月12日 12:00
当前 AI 基准测试遗漏了什么：模态、搜索、引用及其对安全评估的影响报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv cs.AI当前 AI 基准测试遗漏了什么：模态、搜索、引用及其对安全评估的影响
一项针对 ChatGPT 聊天 UI 与 OpenAI API 两种访问模态的审计发现，在 BBQ 和 SafetyBench 两个基准上，关闭搜索时聊天 UI 准确率低于 API；启用网页搜索后准确率最多下降 8 个百分点，甚至在一个基准上逆转了模态表现趋势。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月12日 13:00
- 近 24 小时变化
- –
02.557.510
13:0014:0015:0016:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。