The Decoder· Jonathan Kemper·· 4 小时前AI 评分53
研究发现:更复杂的 harness 让编码 agent 更贵但不一定更强
Fancy harnesses make coding agents more expensive but not better, study finds
AI 导读
Liu 和 Han 在 SWE-bench Verified 上跑了 5 个模型、3 个 harness,发现换 harness 带来的结果波动和重跑噪音相当,Claude Code 与 mini-SWE-agent 在 447 题大池上差距小于 2 分,统计上不显著。
来源:The Decoder · the-decoder.com