跳到正文
arXiv · AI· Ben Johnson, Hayden Helm·· 8 小时前AI 评分34

利用缓存轨迹实现任务高效的智能体评估

Task-Efficient Agent Evaluation Using Cached Traces

AI 导读

研究提出用 LLM 提取轨迹结构化摘要并经文本编码器嵌入,构建低维系统表示以预测新系统评分。 该方法在 SWE-bench Verified 和 Terminal-Bench 2.0 上将平均绝对误差分别降至 0.08 和 0.12。 通过几何预测增强项目响应模型,在给定参考系统集时表现优于基线。

来源:arXiv · AI · arxiv.org