跳到正文
arXiv · AI· Delin Wang, Sinuo Wang, Rui Sun, Beidi Luan, Qiming Shi, Jing Li, Daxin Jiang, Zuo Bai·· 5 小时前AI 评分26

RubricAtlas:从专家报告中挖掘类型级评分细则以评估深度研究智能体

RubricAtlas: Mining Type-Level Rubrics from Expert Reports to Evaluate Deep Research Agents

AI 导读

提出 RubricAtlas 框架,基于 3,079 份中文金融研报构建类型级评分细则,覆盖 99 种研究类型。 实验显示单份报告仅覆盖半数分析问题,不同参考报告选择会改变评测分数与排名。 在 10 个智能体上,两条评审流水线达成 0.71 的检查点一致率和 0.87 的 Kendall τ 排名一致性。

来源:arXiv · AI · arxiv.org