ToneBench创意写作基准发布及开源模型表现分析
先了解这件事
2026年10月,Louis-François Bouchard在纽约AI Engineer演讲期间正式发布ToneBench创意写作基准。该基准由团队耗时5个月、超过500小时开发,旨在评估AI在YouTube脚本写作中与创作者个人风格的匹配度。 构建成本高昂,单次修改评分规则需约2350美元。正式发布版本评测了82个模型,其中34个为开源模型。早期报道提及127个模型版本,后续报道称基准涵盖78个模型,最新披露为82个模型。开发使用了四份Claude和Codex的高级订阅及1000多美元API额度。 10月下旬对开源模型的分析显示,Z.ai GLM-5.3等模型在写作分上领先Meta、xAI等厂商,但与Claude Opus 5.5仍有显著Elo差距。基准通过语音指南、故事指南及盲审模型生成Writing Score,已上线Towards AI官网供开发者评估创意写作能力。
AI 根据报道生成 · 2 小时前更新
事件进展
4 个进展
- 10月24日 20:00 · 1 篇报道Open models dominate low-cost AI writing on ToneBenchTowards AI:开源模型在 ToneBench 中如何用于低成本规模化写作
- 10月17日 02:07 · 1 篇报道作者发布自建 LLM 基准 ToneBenchTowards AI:Towards AI 创始人构建并公开 ToneBench 大模型基准测试
- 10月13日 22:20 · 1 篇报道发布创意写作基准 ToneBenchTowards AI:ToneBench 评测:78 个模型在创意写作上表现如何
- 10月11日 01:54 · 1 篇报道作者分享构建AI创意写作基准的成本与进展Towards AI:构建一个AI创意写作基准的实际成本:单次评分规则调整耗资约$2,350
报道时间线
沿着报道,了解事件的不同侧面。
- Towards AI精选开源模型在 ToneBench 中如何用于低成本规模化写作
本周基于 ToneBench 的开源模型写作评测显示,Z.ai GLM-5.3、Kimi K3、DeepSeek V4.1 Flash 1017 在写作分上领先 Meta、xAI、Google 的对应最佳模型,但与 Claude Opus 5.5 仍有 584 Elo 差距。
- Towards AITowards AI 创始人构建并公开 ToneBench 大模型基准测试
Towards AI 团队耗时 5 个月构建并发布了 ToneBench 基准测试。该基准评估了 100+ 模型在撰写 YouTube 脚本上的表现,重点衡量模型声音与创作者个人风格的匹配度。
- Towards AIToneBench 评测:78 个模型在创意写作上表现如何
ToneBench 评测了 78 个模型在创意写作上的表现,用作者的语音指南、故事指南、10 篇真实脚本和 4 个盲审模型做评分,生成 Writing Score 和 Elo。
- Towards AI构建一个AI创意写作基准的实际成本:单次评分规则调整耗资约$2,350
构建一个创意写作AI基准的隐性成本极高,仅修改一行评分规则并重新评判所有脚本就需约$2,350,重新生成所有输出则需$3,750。 该基准由4人耗时超过500小时开发,目前评测涵盖127个模型版本,包含6,350份脚本和25,400次AI评判,主要通过Claude Code、Codex及各模型API运行。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月24日 21:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。