arXiv · AI· Han Chi, Jiaxin Qi, Yan Cui, Baisheng Lai, Jianqiang Huang·· 1 天前AI 评分47
AgentMeter 如何构建公平的命令行智能体质量-效率评测基准
Matching Matters: A Fair Quality-Efficiency Benchmark for Command-Line Agents
AI 导读
研究团队推出 AgentMeter 基准，引入 AgentMeter Score (AMS) 联合评估命令行智能体的任务质量、成本敏感度及零奖励执行资源消耗。 针对描述词偏好导致的评价偏差，提出基于轨迹优化的 AgentMeter-Opt 框架，生成保留任务意图但适配不同语言模型-CLI 组合的描述变体。 实验证明没有通用的最优 CLI，该框架为部署相关的公平评测提供了基础。
来源：arXiv · AI · arxiv.org