跳到正文
arXiv · AI· Daniel Rupawalla·· 21 天前AI 评分24

Bank-World:评估智能体银行业务流程的基准测试

Bank-World: A Benchmark for Evaluating Agents on Banking Workflows

AI 导读

Bank-World 是一个包含 50 个银行任务的基准测试,通过模拟机构评估智能体在记录核对、权限获取及执行交易中的表现。该基准结合可执行检查与模型判断进行评分,涉及单轮任务及多轮交互。 在四个模型的 1600 次尝试中,发现正确决策常未能转化为完整工作,例如重复收费或审批未完成即执行支付。不同模型表现各异,Sol 在单轮完成度上领先,Opus 多轮完成率最高。

来源:arXiv · AI · arxiv.org