跳到正文
arXiv · AI· Vladimir Dobrovolskii, Ibragim Badertdinov, Alexander Golubev·· 10 天前AI 评分38

Longtail-SWE:面向小众编程语言的高质量软件工程基准测试发布

Longtail-SWE: High-Quality SWE Tasks for Underrepresented Languages

AI 导读

研究团队发布 Longtail-SWE 基准测试,包含 13 种现有基准覆盖不足的编程语言共 202 个任务。 其构建流程使用求解器-裁判-修复器管道,并通过修正测试与描述来筛选任务。 评测了 9 种模型配置并分析了任务解决表现、一致性及相关资源开销。

来源:arXiv · AI · arxiv.org