跳到正文
arXiv · NLP· Zhongmou He, Yee Man Choi, Kexun Zhang, Jiabao Ji, Junting Zhou, Dejia Xu, Ivan Bercovich, Aidan Zhang, Yixiao Zeng, Lei Li·· 10 天前AI 评分41

HARDTESTGEN: 用于 LLM 算法编程的高质量 RL 验证器生成管道

HARDTESTGEN: A High-Quality RL Verifier Generation Pipeline for LLM Algorithmic Coding

AI 导读

HARDTESTGEN 提出合成高质量算法编程测试用例的方法,构建了含 26.6k 题目的 HARDTESTS 数据集。 相比现有测试,HARDTESTGEN 在验证 LLM 生成代码时精确度提升 11.22 个百分点。 使用 HARDTESTS 验证器进行拒绝采样和强化学习下游训练,能提升 LLM 代码生成性能,相关数据和管道已开源。

来源:arXiv · NLP · arxiv.org