arXiv · ML· Lyuxin David Zhang, Eric Wong, Surbhi Goel, Anton Xue·· 2026-10-05AI 评分27
LESSER:利用输出层梯度实现高效后训练数据选择
LESSER: Post-Training Data Selection with Output-Layer Gradients
AI 导读
LESSER 是一种用于大语言模型后训练数据选择的输入层梯度方法,仅依赖前向传播即可有效近似完整梯度特征。该方法在 SFT 基准中将特征提取 FLOP 成本降低 9.7 倍,在 RL 基准中降低 3.0 倍,且性能与完整梯度方法保持一致。
来源:arXiv · ML · arxiv.org