arXiv cs.AI· Jennifer Wang, Joachim Baumann, Daniel E. Ho, Sanmi Koyejo·· 1 天前AI 评分52
研究：API 基准分数无法可靠迁移到聊天机器人界面
API Benchmark Scores Do Not Reliably Transfer to Chatbot Interfaces
AI 导读
一项审计 ChatGPT、Claude 和 Gemini 共七个系统、九个基准的研究发现，API 评测与聊天界面评测存在系统性差异：API 平均准确率高 3.4 个百分点，重测一致性高 2.1 个百分点。
来源：arXiv cs.AI · arxiv.org