arXiv · NLP· Yichen Xu, Shipei Lin, Chenhao Ma·· 5 小时前AI 评分31
研究揭示Text-to-SQL模型在模糊查询中隐式选择计算逻辑而未明示
Text-to-SQL Models Make Choices Without Saying So
AI 导读
SpecBridge基准测试发现,四个大语言模型在明确指定解释时能正确计算,但在开放查询中仅有15-58%的情况会主动报告其所选的解释,且常不提及该选择。这种缺陷在于报告机制而非计算能力,BIRD基准中超五分之二被标记为错误的回答在另一解释下其实是正确的。 采用分步策略先判断查询是否开放再分别回答各解释,可将开放请求下获取所有解释的占比提升29-63个百分点,且比询问用户澄清需更少的交互轮次。
来源:arXiv · NLP · arxiv.org