开源LLM Text-to-SQL基准研究更新
热点事件持续更新
开源LLM Text-to-SQL基准研究更新
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
Vladimir Beskorovainyi 发布的基准研究更新了开源 LLM 在 BIRD 数据集上的性能测试结果。早先版本曾提出量化导致约 13 个百分点的性能损失，但新报告撤回了该结论，并修正了测试条件，包括使用只读数据库和官方 BIRD 指标。此次更新还新增了 FP8-API 截断测试组及重新运行实验的数据。最新结果显示，Qwen2.5-Coder-32B 在自托管场景下准确率最高达 54.9%，而 CodeLlama-13B 仅为 26.3%。研究指出，自纠正技术是提升效果唯一稳定有效的方法，可带来 1.2 至 4.4 个百分点的提升，而 Schema 链接和自一致性方法未见显著增益。该研究明确了在无法使用云 API 时，自托管开源模型在 Text-to-SQL 任务上的能力边界。
AI 根据报道生成 · 3 小时前更新
最新进展10月20日 12:00
开源 LLM 在 BIRD 数据集上的 Text-to-SQL 性能基准测试报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv · NLP开源 LLM 在 BIRD 数据集上的 Text-to-SQL 性能基准测试
在 BIRD 开发集上，Qwen2.5-Coder-32B 自托管执行准确率最高达 54.9%，CodeLlama-13B 为 26.3%。 自纠正技术是唯一带来一致增益的方法，提升 1.2 至 4.4 个百分点；Schema 链接和自一致性未显示显著效果。 该研究验证了自托管开源模型在无法使用云 API 场景下的 Text-to-SQL 能力边界。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 910月20日 15:00
- 近 24 小时变化
- –
02.557.510
15:0016:0017:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。