跳到正文
arXiv · NLP· Mingyu Lu, Timothy Ossowski, Tristan Naumann, Hoifung Poon, Peniel Argaw·· 2026-10-15AI 评分25

HERO:结合离线与测试时 Harness 优化提升程序生成的方法

HERO: Harnessing Evidence for Test-time Refinement and Prompt Optimization in Program Generation

AI 导读

HERO 框架通过结合离线与测试时的 harness 优化,在四个 SQL、Cypher 和 Python benchmark 上将 pass@1 提升了 7.6 个点。 测试时优化利用执行反馈将生成的代码视为特定 harness,额外带来 2.0 个点的性能提升并提高执行效率。

来源:arXiv · NLP · arxiv.org