跳到正文
arXiv · ML· Jorge Garc\'ia-Carrasco, Sergio Garc\'ia-Carrasco, Alejandro Mat\'e, Juan Trujillo·· 2026-10-09AI 评分31

嵌入式 LLM 智能体闭环评测基准:评估 GPT 与 Qwen 系列模型在 ESP32 固件开发中的表现

Closed-loop evaluation of LLM agents for embedded software development

AI 导读

研究人员发布针对嵌入式代码智能体的闭环评测基准,涵盖 5 项控制任务和 4 种反馈场景,基于模拟 ESP32 固件环境。 评测了 7 种 GPT 和 Qwen 模型配置共 420 次运行,gpt-5.4 通过率最高但未饱和,qwen3.5-27B 为最强本地模型,小型本地模型表现显著下降。 结果显示具备能力的本地嵌入式编码智能体正在涌现。

来源:arXiv · ML · arxiv.org