arXiv · AI· Jiawei Li·· 2026-10-05AI 评分26
LLM Agent 决策系统中 System-1 模型 Laya 与 Jev 的配对评估及自审计
Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses
AI 导读
研究者对开源 System-1 模型 Laya 与托管模型 Jev 在 11 个 Agent 决策点进行了配对评估,Jev 在 9 项任务上准确率显著更高,提升幅度达 10.8 至 46.0 个百分点。 审计发现前期分析存在成本遗漏和阈值偏差,导致部分部署优势宣称被修正,例如节省率从 23.9% 降至 4.3%。全部测试数据与分析代码已公开。
来源:arXiv · AI · arxiv.org