跳到正文
LessWrong · All Posts· Dewi Gould·· 2026-10-07AI 评分57

Jev 在无思维链 LLM 基准中的性能评估

Benchmarking Jev against no-CoT LLMs

AI 导读

作者使用 ThinkFast 无 CoT 测试集和 NCRI 基准对 TypeSafe 的非自回归模型 Jev 1.13 进行了测试。该模型在破坏与藏拙检测的 AUROC 上匹敌 GPT-5.5 和 Opus 4.7,成本约为 Opus 4.7 的 1/200,但在多步推理任务上表现较差,排名靠后且水平约等同于 GPT 3.5。

来源:LessWrong · All Posts · lesswrong.com