跳到正文
arXiv · AI· Raghu Venkat, Tricha Anjali·· 2026-10-14AI 评分27

受管置信度分数能否识别 Text-to-SQL 答案的正误?基于 BIRD 的探索性研究与 Spider 的预注册验证

Does a Governed Confidence Score Know When a Text-to-SQL Answer Is Right? An Exploratory Study on BIRD and a Pre-registered Confirmation on Spider

AI 导读

生产系统中基于设计的置信度分数在 BIRD 数据集上区分 Text-to-SQL 答案正误的能力较弱,AUROC 仅为 0.624,且错误拦截了 35.7% 的正确答案。

来源:arXiv · AI · arxiv.org