跳到正文
热点事件持续更新

Hedge-Bench 发布:金融推理基准显示智能体成功率极低

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

研究团队提出包含 92 个真实环境基准 Hedge-Bench,用于测试智能体在冻结信息快照下的预测能力,结果显示 11 个前沿模型联合成功率仅为 2.54% 至 31.52%。 团队使用 GRPO 算法在 165 个环境中训练 Muse-Glimmer 模型,在低推理算力下,该模型覆盖率从 17.17% 提升至 33.36%,同时 token 使用量减少 47.9%。 进一步优化后,模型在 GDPval 等分布外任务上的平均得分提升 3.94 至 7.07 点,表明该基准有效揭示了当前智能体在复杂金融推理任务中的性能瓶颈与提升空间。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv · AI
    Hedge-Bench:评估金融推理复杂任务下的智能体表现

    团队提出包含92个真实环境基准Hedge-Bench,测试智能体基于冻结信息快照的预测能力,11个前沿模型联合成功率仅为2.54%至31.52%。使用GRPO在165个环境训练Muse-Glimmer,低推理算力下覆盖率从17.17%提升至33.36%,且token使用量减少47.9%。模型在GDPval等分布外任务上平均得分提升3.94至7.07点。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。