跳到正文
Towards AI· Louis-François Bouchard·· 13 天前AI 评分35

如何一步步构建自己的 LLM 评测基准 ToneBench

How I Built My Own LLM Benchmark, Step by Step

AI 导读

作者构建了评测基准 ToneBench,利用 LLM 评委评估 84 个模型对 10 个 YouTube 脚本的写作能力。 该基准要求每个模型生成 5 份草稿以区分“好日子”与“坏日子”,Grok 4.7 在最好与最坏草稿中分别排名第 28 和 62 位。 LLM 评委先选定 6 级评分标准之一再赋数值,比直接打分更具一致性,以此校准模型表现。

来源:Towards AI · louisbouchard.substack.com