arXiv · AI· Elaine Lau, Antoine Pangas, Alexandre Finot, Collin Schweiker, Amir Bouzidi, Hui Wen Goh, Andrew Peter Martin, Jonas Mueller·· 2 天前AI 评分42
ATLAS-Finance:在模拟银行环境中评估 AI 智能体的基准
ATLAS-Finance: Benchmarking AI Agents in Realistic Banking Environments
AI 导读
研究团队发布 ATLAS-Finance,这是一项包含 100 项端到端投资银行任务、横跨 13 家模拟企业的基准测试。 该基准由资深银行家基于真实交易工作设计,单个任务耗时 15-30 小时,评估标准包含中位 124.5 项细则。 当前最先进模型表现不佳,Claude Opus 与 Fable 在任务中的通过率均低于 11%。
来源:arXiv · AI · arxiv.org