arXiv · ML· Zhichen Liu, Tianle Lun, Yang Xu, Zhibin Wen, Hao An, Yulin Ou, Jianhui Xu, Hao Zhang, Wenyi Fang, Yang Zheng·· 11 天前AI 评分31
一种用于在训练期间快速准确探测 LLM 下游性能的方法
Fast and Accurate Probing of In-Training LLMs' Downstream Performances
AI 导读
该研究提出一种轻量级探测范式,用于在 LLM 训练期间监测下游任务表现。 该方法以模型检查点的内部表征作为输入,直接预测其在下游任务中的成功率(pass@1)。在 OLMo3-7B、OLMo3-32B 和 Apertus-8B 模型上验证,平均 AUROC 超过 0.75,计算延迟从约 1 小时降低至约 3 分钟。
来源:arXiv · ML · arxiv.org