arXiv · AI· Aviral Dawar, Roshan Karanth, Vikram Goyal, Rakhee Kulshrestha, Sumanta Pasari, Dhruv Kumar·· 17 天前AI 评分31
IndicDBBench:印度语言多语 Text-to-SQL 能力基准测试
IndicDBBench - Benchmarking Multilingual Text-to-SQL Capabilities in Indian Languages
AI 导读
研究提出多语 Text-to-SQL 基准 IndicDBBench,旨在评估印度语言族跨语语义解析能力。 该基准包含 20 个数据库、237 张表及 15,612 个任务,覆盖英语及六种印度语言。实验显示,从英语到印度语言的执行准确率下降 9.0 个百分点,证实存在显著的“印度语言差距”。
来源:arXiv · AI · arxiv.org