跳到正文
arXiv · AI· Raffi Khatchadourian·· 16 小时前AI 评分40

DFAH-Bench:金融智能体评估中一致性指标未覆盖的维度

DFAH-Bench: What Agreement Leaves Unmeasured in Financial Agents

AI 导读

DFAH-Bench通过重放实验和银行任务测试,揭示金融智能体决策一致性无法建立可靠性。在570个重放片段中,决策一致率为94-95%,但工具路径一致率仅为45-52%。评估需结合具体执行动作、证据规则及任务完成度,以识别系统性遗漏。

来源:arXiv · AI · arxiv.org