arXiv · AI· Vladimir Dobrovolskii, Ibragim Badertdinov, Alexander Golubev·· 10 天前AI 评分38
Longtail-SWE:面向小众编程语言的高质量软件工程基准测试发布
Longtail-SWE: High-Quality SWE Tasks for Underrepresented Languages
AI 导读
研究团队发布 Longtail-SWE 基准测试,包含 13 种现有基准覆盖不足的编程语言共 202 个任务。 其构建流程使用求解器-裁判-修复器管道,并通过修正测试与描述来筛选任务。 评测了 9 种模型配置并分析了任务解决表现、一致性及相关资源开销。
来源:arXiv · AI · arxiv.org