arXiv · ML· Yuxuan Wu, Miaopei Lin, Qiufang Ying, Lin Dan, Hao Zhao, Qirui Liu, Yuteng Shen, Shaohui Wu, Weihong Luo, Xiku Du, Xing Tang, Hao Chen·· 14 小时前AI 评分42
FinHopper：用于复杂金融智能体及逐步评估的渐进式多跳基准
FinHopper: A Progressive Multi-Hop Benchmark for Complex Financial Agents with Step-wise Evaluation
AI 导读
论文提出 FinHopper，一个控制推理深度为 1-6 跳的金融多跳检索基准，包含股票、基金及宏观经济事实的中间答案，支持过程级评估。 该基准通过状态转移合成框架构建，结合人工专家验证与模型集成检查，确保数据质量。 实验显示 20 种 LLM 智能体配置中，公开搜索工具必要但不足，性能随跳数增加急剧下降，且过程感知评分能揭示最终答案评估中隐藏的推理进展。
来源：arXiv · ML · arxiv.org