跳到正文
Hacker News LLM· gghootch·· 2026-10-08AI 评分65

CI 中的 LLM 评估噪声有多大?

How noisy are LLM evals in CI?

AI 导读

LLM 评估在 CI 中受随机噪声影响,约 2.5% 的通过用例在下次运行时偶然失败。文章分析多个公开仓库数据,指出评估套件需区分随机失败与真实回归,建议通过历史对比、剔除错误页面和重复运行来降低噪声影响。

来源:Hacker News LLM · evalship.com