跳到正文
arXiv · AI· Musfiqur Rahman, SayedHassan Khatoonabadi, Emad Shihab·· 3 天前AI 评分42

RealClassEval 揭示 LLM 在真实类级代码生成中的性能差距

Beyond Synthetic Benchmarks: Evaluating LLM Performance on Real-World Class-Level Code Generation

AI 导读

研究引入基于真实开源仓库的 RealClassEval 基准,显示 LLM 在真实类级代码生成中准确率仅 25% 至 34%,远低于合成基准的 84% 至 89%。 文档补充带来 1% 至 3% 的边际提升,检索增强在规格不完整时带来 4% 至 7% 的提升;AttributeError 等三类错误占总故障的 84%。 该基准为诊断 LLM 核心实现瓶颈及优化生产部署策略提供了必要基础。

来源:arXiv · AI · arxiv.org