arXiv · ML· Lalchand Pandia, Kanishka Misra, Allyson Ettinger·· 14 天前AI 评分33
LLM 微调数据选择:覆盖率比难度更重要
Rethinking Data Selection: The Importance of Coverage over Difficulty in LLM Fine-Tuning
AI 导读
研究发现 LLM 微调中基于难度的数据选择方法往往不如随机选择,因随机选择对输入空间的覆盖性更好。 通过聚类方法优化覆盖率后,在单领域任务中表现持平或优于随机选择;在 Tülu 3 混合数据上则优于所有对比方法。 优先保障覆盖而非难度的数据选择策略能提升 LLM 微调效果。
来源:arXiv · ML · arxiv.org