跳到正文
arXiv · AI· Hoyoung Lee, Suyeol Yun, Jack Haverty, Yunju Cho, Meesong Kim, Daekyung Park, Sumin Kim, Jihoon Kwon, Jasmine Jia Geng, Andrew Chin, Yin Luo, Edward Tong, Yu Yu, Zach Golkhou, Minkyu Kim, Igor Halperin, Young Cha, Alejandro Lopez-Lira, Chanyeol Choi, Yongjae Lee·· 1 天前AI 评分23

FinAutoRubric:面向金融研究智能体的专家引导自动评分细则生成

FinAutoRubric: Expert-Guided Automatic Rubric Generation for Evaluating Financial Research Agents

AI 导读

FinAutoRubric 实现专家引导的自动评分细则(rubric)生成、审查与验证,用于评估金融研究智能体。 其采用可复用专家指导、任务库(Task Bank)及长时程循环,由写作智能体研究预期值、审查智能体验证,失败升级至人工。 在三个专家撰写基准上,其评分细则与专家评分贴合度媲美最强生成器,内部分析师在盲评中更偏好该结果。

来源:arXiv · AI · arxiv.org