arXiv · AI· Ankush Kadu, Athira Gopal, Niharika Singh, Arpit Jain, Aswanth Krishnan·· 21 天前AI 评分38
EnvOS:在动态环境中审计计算机使用智能体
EnvOS: Auditing Computer-Use Agents When the World Moves On : Phenomenon-Based Task Construction, Certification, and Evidence-Based Evaluation
AI 导读
EnvOS 框架通过现象级任务构建与证据化评估,解决大语言模型智能体在软件状态变更时的测试归因难题。 框架在运行前验证变更触发、任务可解性及评分准确性,运行后基于归档证据重审判定。测试显示 Claude Opus 5 在展示更新值时成功率从 0/16 升至 15/16,显著优于仅提醒重查的结果。
来源:arXiv · AI · arxiv.org