arXiv · AI· Ocean Monjur, Daud Ahmad Nisar, Shahriar Kabir Nahin, Tadesse Destaw Belay, Sushruti Mishra, Israel Abebe Azime, Anshuman Chhabra·· 4 小时前AI 评分26
LoWAgent: 一种面向低资源多语言 Web Agent 的评测基准
LoWAgent: A Low-Resource Multilingual Benchmark for Web Agents
AI 导读
LoWAgent 发布了低资源多语言 Web Agent 评测基准，包含英语及印地语、孟加拉语、乌尔都语、阿姆哈拉语，共 3,000 个任务实例。 该基准覆盖 6 个本地化网站，评测 3 个闭源与 5 个开源模型，发现 LRL 性能下降且开源模型降幅更大，干扰项也会降低性能。 使用 LoWAgent 数据微调可显著提升低资源语言代理任务表现。
来源：arXiv · AI · arxiv.org