arXiv · AI· Yining Hua, Levi Lian·· 13 小时前AI 评分41
WorkWorlds: 在任务构建前建立的企业中评估智能体
WorkWorlds: Evaluating Agents in a Company Built Before the Task
AI 导读
研究提出模块化基础设施 WorkWorlds,基于真实制药公司数据重构环境,用于在受控条件下对比任务构建时序对智能体评估的影响。 192 次受控评估显示,智能体从任务特定环境切换至员工真实可见材料时,证据获取率从 90.4% 降至 72.8%,标准通过率从 76.7% 降至 68.0%。 作者建议基准测试应报告环境材料选择方法,并尽可能测试更换环境构建者后的分数变化。
来源:arXiv · AI · arxiv.org