arXiv · NLP· Shuo Lin, Jinzhe Li, Chenlu Guo, Yanhan Li, Yuan Wu, Yi Chang·· 2026-10-16AI 评分21
PremiseSQL: 评估 Text-to-SQL 系统的前提批判与拒答能力
PremiseSQL: Evaluating Premise Critique and Abstention in Text-to-SQL Systems
AI 导读
PremiseSQL 基准包含 1,800 条存在前提缺陷的 NL2SQL 查询及对应原始查询。 前沿 LLM 实验显示,模型默认信任前提且极少批判缺陷查询。 强批判提示提升了缺陷检测率,但增加了误判并抑制正常 SQL 生成。
来源:arXiv · NLP · arxiv.org