arXiv · NLP· Shudong Liu, Yuting Zhong, Guanhua Chen, Xinyi Yang, Junnan Liu, Lidia S. Chao, Jiaheng Liu, Derek F. Wong·· 10 天前AI 评分28
DeepResearch RewardBench:首个深度研究奖励模型评测基准
DeepResearch RewardBench: Evaluating Reward Models for Deep Research Report
AI 导读
为评估 AI 生成深度研究报告的质量,研究人员提出首个专用基准 DeepResearch RewardBench。该基准通过多轮过滤和人工验证,构建了包含对、三元组及四元组的偏好数据集。 实验显示,当前奖励模型在研究报告评估上表现下降,生成式 LLM 作为裁判更具优势。该基准预计将成为评估和提升研究智能体的重要测试平台。
来源:arXiv · NLP · arxiv.org