Hacker News AI· shubhamjoshipro·· 4 天前AI 评分40
基于数据库差异的 AI Agent 计算机操作基准测试发布
Show HN: A benchmark that diffs the whole database after an AI agent's task
AI 导读
新发布的 benchmark 通过对比任务前后数据库快照,评估 computer-use agent 在真实业务应用中的实际改动。该测试基于 635 个评分 episode,揭示版本升级导致的静默破坏及多步任务执行失败问题。 结果显示 Odoo 18 升级使附带损伤率升至 21%,三步复合任务成功率仅为 0/50,且 GPT-6 Luna 单任务成本低至 1-3 美分。
来源:Hacker News AI · github.com