arXiv · AI· Yining Hua, Hongbin Na, Cyrus Ayubcha, Levi Lian·· 8 小时前AI 评分33
为知识工作设计基准:基于活动表示的框架与案例审计
Designing Benchmarks for Knowledge Work
AI 导读
论文提出以工作活动为中心的基准表示框架,补充了被代表活动、测试环境等四个缺失字段。 基于该框架审计了GDPval等三个基准,发现13个APEX-SWE任务测试存在缺陷。 框架使不同基准具备可比性,提供了单页记录模板以规范报告实践。
来源:arXiv · AI · arxiv.org