arXiv · AI· Shu Zhou, Ziyang He, Yuxin Rao, Yudong Fang, Jiali Qian, Dongyuan Chen, Juntao Zhang, Yong Hu·· 16 天前AI 评分31
AgenticFinBench 发布:面向真实金融任务的智能体评测基准
AgenticFinBench: Benchmarking Financial Agents on Diverse Tasks from Real-World Requests
AI 导读
研究团队发布 AgenticFinBench,包含 230 项真实金融任务,涵盖 8 个类别、2 种语言和 4 个复杂度级别。 该基准提出无参考评估框架,结合特定评分标准与两阶段事实核查,以检测幻觉。实验显示,幻觉审核使领先者分数降低 7.58 分并降至第四名。 发布该基准旨在推动金融推理与事实核查发展,提升智能体在真实请求中响应的可靠性。
来源:arXiv · AI · arxiv.org