arXiv · NLP· Peng Kuang, Yuchun Fan, Jiangnan Li, Minghao Wu, Jialong Tang, Hao-Ran Wei, Weixuan Wang, Jianhong Tu, Baosong Yang, Tong Xiao·· 5 小时前AI 评分32
BabelArena：用于 LLM 智能体的大规模多语言基准
BabelArena: A Large-Scale Multilingual Benchmark for LLM Agents
AI 导读
论文提出 BabelArena，这是包含 16,146 个实例、覆盖 23 种语言的大规模多语言基准。 通过 BabelFlow 生成并验证任务，实验表明低资源语言中的智能体工具使用错误更多且 token 消耗最高达英语两倍。 该基准揭示了跨语言智能体能力差距，为多语言可靠性和效率研究提供基础。
来源：arXiv · NLP · arxiv.org