跳到正文
arXiv · NLP· Yihao Hu, Yanlin Feng, Naoki Otani, Nikita Bhutani·· 2026-10-08AI 评分20

ARCS 基准测试揭示 Text-to-SQL 歧义处理难题:gpt-6-sol 准确率仅 51%

ARCS: Towards Precise Text-to-SQL via Structured Disambiguation

AI 导读

研究者提出 ARCS 基准测试,聚焦 Text-to-SQL 在真实数据库中的自然歧义场景,采用结构化消歧范式替代传统对话澄清。 实验显示歧义显著降低系统表现,gpt-6-sol 端到端执行准确率仅为 51%,而所有开源模型均不超过 27%。 该结果凸显了现有模型在复杂真实场景下处理细微歧义的能力瓶颈,为系统部署提出了明确挑战。

来源:arXiv · NLP · arxiv.org