arXiv · AI· George Juraj Salapa·· 5 小时前AI 评分36
kw-bench:在现实任务中突破前沿模型限制
kw-bench: Breaking Frontier Harnesses on Real-World Tasks
AI 导读
kw-bench 针对审计等调查性任务发布新评测基准,使用 DeepSeek v4.1 Flash 实测显示独立 harness 得分 0.542 与 0.528。 前沿模型如 Claude Opus 5.5 仅需 22-25 分钟完成任务并得分近 1.0,将数周工作压缩至数分钟。 低于前沿模型时,harness 决定模型能走多远,而前沿模型则彻底改变成本与效率结构。
来源:arXiv · AI · arxiv.org