arXiv · NLP· Art Kanke·· 21 天前AI 评分36
rTaste:研究智能体是否有品味?评估早期研究判断
rTaste: Do Research Agents Have Taste? Evaluating Early Stage Research Judgment
AI 导读
rTaste 评估六个前沿模型作为研究智能体判断早期实验价值的表现。415 个最小可行实验中,194 个被审计为可靠、有价值且新颖,但仅 73 个被认为超越种子论文且非显而易见。 智能体的首选比随机选择更符合审计者高价值判断,但未显著优于选择首个提出的实验。其预测虽超过基准率,但与仅基于论文的新实例预测精度无可测量差异。团队协作成本更高,但未带来明显的提案质量提升。
来源:arXiv · NLP · arxiv.org