跳到正文
arXiv · AI· Ezgi Sar{\i}kayak, Wenchao Gu, Hesham Ghonim, Chunyang Chen·· 8 小时前AI 评分28

SWE-Opt 基准:评估大语言模型在仓库级性能优化中的表现

SWE-Opt: A Benchmark for Evaluating LLMs on Performance-Oriented Repository-Level Optimization

AI 导读

SWE-Opt 是一个基于 102 个开源项目专家优化案例的仓库级基准,用于评估 LLM 在代码性能优化中的表现。该基准通过参数化测试,在噪声感知条件下评估运行时、峰值内存和时间加权内存使用(TWMU)。

来源:arXiv · AI · arxiv.org