arXiv · AI· Musfiqur Rahman, SayedHassan Khatoonabadi, Emad Shihab·· 3 天前AI 评分42
RealClassEval 揭示 LLM 在真实类级代码生成中的性能差距
Beyond Synthetic Benchmarks: Evaluating LLM Performance on Real-World Class-Level Code Generation
AI 导读
研究引入基于真实开源仓库的 RealClassEval 基准,显示 LLM 在真实类级代码生成中准确率仅 25% 至 34%,远低于合成基准的 84% 至 89%。 文档补充带来 1% 至 3% 的边际提升,检索增强在规格不完整时带来 4% 至 7% 的提升;AttributeError 等三类错误占总故障的 84%。 该基准为诊断 LLM 核心实现瓶颈及优化生产部署策略提供了必要基础。
来源:arXiv · AI · arxiv.org