arXiv · NLP· Vladimir Beskorovainyi·· 6 小时前AI 评分40
开源 LLM 在 BIRD 数据集上的 Text-to-SQL 性能基准测试
How far do on-premises open LLMs get on Text-to-SQL? A cross-family size and technique frontier on BIRD
AI 导读
在 BIRD 开发集上，Qwen2.5-Coder-32B 自托管执行准确率最高达 54.9%，CodeLlama-13B 为 26.3%。 自纠正技术是唯一带来一致增益的方法，提升 1.2 至 4.4 个百分点；Schema 链接和自一致性未显示显著效果。 该研究验证了自托管开源模型在无法使用云 API 场景下的 Text-to-SQL 能力边界。
来源：arXiv · NLP · arxiv.org