arXiv · AI· Daniel Rupawalla·· 21 天前AI 评分24
Bank-World:评估智能体银行业务流程的基准测试
Bank-World: A Benchmark for Evaluating Agents on Banking Workflows
AI 导读
Bank-World 是一个包含 50 个银行任务的基准测试,通过模拟机构评估智能体在记录核对、权限获取及执行交易中的表现。该基准结合可执行检查与模型判断进行评分,涉及单轮任务及多轮交互。 在四个模型的 1600 次尝试中,发现正确决策常未能转化为完整工作,例如重复收费或审批未完成即执行支付。不同模型表现各异,Sol 在单轮完成度上领先,Opus 多轮完成率最高。
来源:arXiv · AI · arxiv.org