arXiv · AI· Ben Johnson, Hayden Helm·· 8 小时前AI 评分34
利用缓存轨迹实现任务高效的智能体评估
Task-Efficient Agent Evaluation Using Cached Traces
AI 导读
研究提出用 LLM 提取轨迹结构化摘要并经文本编码器嵌入,构建低维系统表示以预测新系统评分。 该方法在 SWE-bench Verified 和 Terminal-Bench 2.0 上将平均绝对误差分别降至 0.08 和 0.12。 通过几何预测增强项目响应模型,在给定参考系统集时表现优于基线。
来源:arXiv · AI · arxiv.org