arXiv · ML· Hongyi Henry Jin, Wenhan Yang, Meysam Ghaffari, Carlos Morato, Baharan Mirzasoleiman·· 17 天前AI 评分40
SFTProbe 如何加速推理大语言模型的 SFT 数据生成
From Weeks to Hours: Fast and Principled SFT Data Generation for Reasoning LLMs
AI 导读
SFTProbe 通过直接预测推理数据质量,将 SFT 数据筛选时间从数周缩短至数小时。该方法基于 LoRA 适应,仅需评估 5% 的推理轨迹损失即可估计难度与多样性。在数学推理任务中,5k 生成样本匹敌 OpenThoughts-Math 的 89k 样本,7.5k 样本准确率提升 2.5%。
来源:arXiv · ML · arxiv.org