跳到正文
arXiv · AI· Nickil Maveli, Antonio Vergari, Shay B. Cohen·· 2026-10-05AI 评分37

LLM 算法代码检索评测:合成还是回忆?

Are you Synthesizing or Recalling? Evaluating LLMs on Algorithmic Code Retrieval

AI 导读

研究提出 AlgoREval 基准,包含 599 道题目、覆盖 77 种经典算法、14 个领域、7 种编程语言及 4 种图输入表示,用于隔离评估 LLM 的参数化代码检索能力。 在零样本设置下评估了 15 个 7B 至 34B 参数模型,发现不同语言和输入表示间检索准确率存在显著差异;检索增强能提升复杂算法准确率,SFT 带来更广泛的语言收益,GRPO 在特定语言上收益更大。

来源:arXiv · AI · arxiv.org