跳到正文
arXiv · AI· Shervin Shahidi, James Poon, Hang Xie, Kenneth O. Xu, Robin H{\aa}kanson, Vikram Nair, Jens Pillgram-Larsen, Nachiappan Nagappan·· 3 天前AI 评分37

Benchmark Factory 通过数据集策展和无标签质量锚点创建智能体基准

Benchmark Factory: Agentic Benchmark Creation via Dataset Curation and Label-Free Quality Anchors

AI 导读

Benchmark Factory 是一个自主元智能体循环,通过LLM智能体自动策展、诊断和修复代码基准,消除了对人工标签的依赖。该工具已在五个开发者群组中构建基准,工程评分显示任务质量为2.3分,且基准能准确区分Claude Opus 4.7及GPT-5.5等高推理努力模型的性能差异。质量锚点作为必要非充分条件,有效将人工审查聚焦于自动化循环无法修复的环节。

来源:arXiv · AI · arxiv.org