跳到正文
Towards AI· Louis-François Bouchard·· 14 天前AI 评分35

构建一个AI创意写作基准的实际成本:单次评分规则调整耗资约$2,350

What it actually costs to build an AI benchmark

AI 导读

构建一个创意写作AI基准的隐性成本极高,仅修改一行评分规则并重新评判所有脚本就需约$2,350,重新生成所有输出则需$3,750。 该基准由4人耗时超过500小时开发,目前评测涵盖127个模型版本,包含6,350份脚本和25,400次AI评判,主要通过Claude Code、Codex及各模型API运行。

来源:Towards AI · louisbouchard.substack.com