跳到正文
arXiv · AI· Panagiotis Kasnesis, Christos Chatzigeorgiou, Lazaros Toumanidis, Amalia Contiero Syropoulou·· 2026-10-08AI 评分50

小语言模型在已部署 Agent 家庭自动化系统中的逐调用点评估

Not Every Call Needs a Frontier Model: Per-Call-Site Evaluation of Small Language Models in a Deployed Agentic Home-Automation System

AI 导读

在 280 个实际案例中评估 9 个模型,发现 4B 模型在受控执行任务上弱于 2B 模型,仅代码生成任务能区分模型性能。 将各调用点路由至最优本地模型,准确率达 91.8%,成本仅为全托管的 28%。该方案已被 NeurIPS 2026 Workshop 接收。

来源:arXiv · AI · arxiv.org