arXiv · ML· Ning Wang, Zhengxin Zhang, Maosen Tang, Yitang Gao, Claire Cardie, Sainyam Galhotra·· 2026-10-15AI 评分21
HARP: 高效筛选数据以微调大语言模型
HARP: Efficient Data Selection for Finetuning Large Language Models
AI 导读
提出层级主动区域剪枝(HARP)方法,这是一种基于训练的选集器,在保持下游目标对齐的同时降低选择成本。在3个基础模型、3个微调数据集和4个推理基准(共36种设置)中,HARP在23种设置中达到最高准确率,平均准确率为64.2和63.5,高于最强基线NICE的59.3。HARP-C用约比预算基线少9倍的示例、比全量微调少75倍的示例进行训练,在更高平均准确率的同时实现了更小平均训练集规模。
来源:arXiv · ML · arxiv.org