arXiv · NLP· Rui Rua, Hailemariam Mersha, Joao Paulo Fernandes, Karim Ali·· 4 天前AI 评分26
PerfArena 开源 LLM 代码性能竞技场
PerfArena: Ranking LLMs by Code Performance
AI 导读
PerfArena 发布开源 LLM 代码性能评测竞技场,基于正确性、时延、内存和能耗对 13 个模型进行跨语言排名。 在 10 个 CLBGComp 基准和 99 个 LeetCodeComp 问题中,got-6-astra 是唯一在时延、能耗和内存上未被显著超越的模型,且解决率分别达 100% 和 99.7%。 该榜单持续更新,帮助开发者依据性能指标而非仅价格选择 LLM。
来源:arXiv · NLP · arxiv.org