arXiv · AI· Shiqi Chen, Daniel Madrigal Diaz, Wei-Ning Chen, Gbola Afonja, Fangkai Yang, Rujia Wang, Chetan Bansal, Victor R\"uhle, Saravan Rajmohan, Dongge Han·· 10 天前AI 评分40
AutoBuddy:评估模拟工作场所中主动式常驻智能体的任务发现与执行
AutoBuddy: Evaluating Proactive, Always-On Agents on Task Discovery and Execution in a Simulated Workplace
AI 导读
研究引入 AutoBuddy-Bench 模拟器评估 LLM 智能体,发现弱模型主要败于任务发现,强模型主要败于系统操作执行。 该基准将组织建模为时间图谱以生成真实工作区,结果显示发现精准度与执行质量关联较弱,表明二者是独立能力。
来源:arXiv · AI · arxiv.org