Hacker News LLM· gghootch·· 2026-10-08AI 评分65
CI 中的 LLM 评估噪声有多大?
How noisy are LLM evals in CI?
AI 导读
LLM 评估在 CI 中受随机噪声影响,约 2.5% 的通过用例在下次运行时偶然失败。文章分析多个公开仓库数据,指出评估套件需区分随机失败与真实回归,建议通过历史对比、剔除错误页面和重复运行来降低噪声影响。
来源:Hacker News LLM · evalship.com
How noisy are LLM evals in CI?
LLM 评估在 CI 中受随机噪声影响,约 2.5% 的通过用例在下次运行时偶然失败。文章分析多个公开仓库数据,指出评估套件需区分随机失败与真实回归,建议通过历史对比、剔除错误页面和重复运行来降低噪声影响。
来源:Hacker News LLM · evalship.com