arXiv · NLP· Shanchao Liang, Yiran Hu, Nan Jiang, Lin Tan·· 2026-10-21AI 评分28
REPOCOD 基准测试:大语言模型尚不能替代程序员
Can Language Models Replace Programmers for Coding? REPOCOD Says 'Not Yet'
AI 导读
研究者构建了 REPOCOD 基准,包含 11 个真实项目中的 980 个 Python 全函数生成任务,其中 50.8% 需要仓库级上下文。 该基准配备 314 个开发者编写的测试用例,评估发现 10 个大语言模型均未超过 30% 的 pass@1,且检索增强生成优于依赖上下文。 这表明当前模型在真实软件开发场景中表现有限,需构建更强 LLM 辅助开发者。
来源:arXiv · NLP · arxiv.org