arXiv · ML· Jiaxin Fang, Runyuan He, Arnav Gupta, Sahil Kumawat, Huanzhi Mao, Alvin Cheung·· 2026-10-14AI 评分30
CodeWalk:通过遍历问题图生成编程基准
CodeWalk: Generating Coding Benchmarks by Walking a Problem Graph
AI 导读
CodeWalk 提出通过组合现有原子问题零成本生成新编程基准,无需大语言模型生成或验证。该方法应用于多 bug 修复、证明补全、复杂度分析和克隆等价四类任务,发现前沿模型性能随组合深度增加而下降。对 Qwen3.5-9B 进行拒绝采样微调可提升其在所有组合层级的表现。
来源:arXiv · ML · arxiv.org