跳到正文
arXiv · NLP· Zhonghao Jiang, Xuyang Zheng, Yanfu Yan, Zhongxin Liu, Lingfeng Bao, Shuiguang Deng·· 21 天前AI 评分39

ExLabel 评估 SWE-bench 风格数据集的任务清晰度与测试覆盖率

Well-Specified and Well-Tested? Assessing SWE-bench-Style Datasets with a Self-Evolving Agent

AI 导读

ExLabel 提出基于自进化经验库的 LLM 辅助标注方案,用于评估 SWE 数据集的任务清晰度与测试覆盖率。 该方法通过构建跨实例知识沉淀判断标准,在 SWE-TQ 基准上取得最优 F1 分数。 在 SWE-bench Verified 上,经 ExLabel 过滤数据微调的模型解决率提升 14.5%。

来源:arXiv · NLP · arxiv.org