arXiv · AI· Shao Zhang, Hangfan Zhang, Yuanyuan Shi, Hao Li, Min-Le Su, Kangcong Li, Jingping Wang, Chunjiang Mu, Chen Zhang, Yang Chen, Bo Zhang, Shuyue Hu·· 4 小时前AI 评分47
当智能体失败时：是模型还是框架该负责？
When Agents Fail: Model or Harness--Who's to Blame?
AI 导读
论文提出评估 LLM 智能体框架的五维指标，基于 52,168 条轨迹分析发现框架排名因模型而异，OpenCode 在跨模型表现中位列第一。 研究测试了 OpenCode、Codex CLI 等 4 种框架，发现不同配对的任务得分与有效完成率可能存在差异。 结果支持评估模型与框架的交互作用，建议训练模型的可迁移框架使用能力。
来源：arXiv · AI · arxiv.org