跳到正文
arXiv · AI· Daniele Cipollone, Sergey Titov, Maliheh Izadi, Egor Bogomolov, Arie van Deursen·· 10 天前AI 评分34

LibEvoBench:探析代码生成模型中的时间知识分层

LibEvoBench: Probing Temporal Knowledge Stratification in Code Generation Models

AI 导读

LibEvoBench 发布,旨在评估 LLM 处理多版本 Python 库 API 演进的能力,并引入 SEUS 指标。结果显示 SOTA 模型具有“版本盲点”,在演进 API 上性能下降,仅指定版本无效,但相关文档能显著提升准确率。该发现揭示了现有训练范式的系统性局限,推动时间定位知识在代码生成中的应用。

来源:arXiv · AI · arxiv.org