SpecBridge基准揭示Text-to-SQL隐式选择缺陷

2026年11月4日，Yichen Xu等人在arXiv发布SpecBridge基准，专门测试Text-to-SQL模型在模糊查询中的隐式选择能力。该基准通过设置开放查询及针对特定解释的查询，评估模型在缺乏明确指令时的表现，旨在揭示模型是否会在未明示的情况下默选计算逻辑。\n\n研究发现，四大语言模型在明确指定解释时计算准确，但在开放查询中，仅15%至58%的情况会主动报告所选解释，且常不提及该选择。进一步分析显示，BIRD基准中超五分之二的“错误”回答在另一种合理解释下实为正确，表明缺陷源于报告机制而非计算能力。\n\n为优化此缺陷，研究提出分步策略：先判断查询是否开放，再分别回答各解释。结果显示，该方法在开放请求下获取所有解释的占比提升29至63个百分点，且相比询问用户澄清，所需交互轮次更少，显著提升了系统的透明性与效率。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。