arXiv · NLP· Mingxuan Li, Huanzhi Mao, Ruitao Zheng, Jarod Stanbury James, Yunze Li, Natanya Anderson, Joseph E. Gonzalez, Alex Dimakis·· 8 小时前AI 评分43
SlackBench：基于真实代码仓库协作项目评估 AI 智能体基准
SlackBench: Benchmarking Agents on Collaborative Projects Grounded in Real Code Repositories
AI 导读
SlackBench 发布了针对真实协作工作流的 AI 智能体评估基准，包含 140 个需联合推理通信与代码状态的查询任务。该基准基于隐私保护的学术项目重演，涵盖多源检索、不可回答问题的拒绝回答及长对话情境推理。测试显示 33 个前沿模型中最佳系统得分约 80%，大多数智能体低于 66%。
来源：arXiv · NLP · arxiv.org