arXiv cs.AI· Raghu Venkat, Tricha Anjali·· 8 小时前AI 评分24
受控置信度分数能否判断 Text-to-SQL 答案对错？基于 BIRD 的探索性研究与 Spider 上的预注册验证
Does a Governed Confidence Score Know When a Text-to-SQL Answer Is Right? An Exploratory Study on BIRD and a Pre-registered Confirmation on Spider
AI 导读
一项研究审计了生产级 Text-to-SQL 系统置信度分数的设计，在 BIRD dev 的 1,534 道题上由 GPT-5.1 作答，该分数区分对错能力较弱（AUROC 0.624），并会扣留 35.7% 的正确答案。
来源：arXiv cs.AI · arxiv.org