跳到正文
arXiv · ML· Rahul Thomas, Adam Block, Micah Goldblum·· 2026-10-14AI 评分36

LLM 评估是一个预测问题

LLM Evaluation is a Forecasting Problem

AI 导读

研究发现 Web 文本具有高度非平稳性,模型性能随时间连续变化,时间序列预测器比历史性能数据更能准确预测 LLM 未来表现。 基于近期评估数据的预测结果选择部署模型,比直接依赖历史性能指标更可靠,从而提升了下游任务的准确性。 作者主张在 LLM 评估中将时间视为基本变量,并开放了相关代码和数据。

来源:arXiv · ML · arxiv.org