arXiv · ML· Luyang Zhang, Jialu Wang, Bebei Li·· 2026-10-14AI 评分38
组合数据选择框架 CDS 与 Mixture-then-Select 算法在 LLM 微调中的表现
Pick the Mixture, Not the Samples: Combinatorial Data Selection for LLMs
AI 导读
Mixture-then-Select 算法在 LLM 微调数据选择中比强基线高出 20% 至 54%。 该算法首先确定各域采样数量,再按归因得分排序,理论最优差距与选择规模成线性关系。 研究指出跨域分配采样数量是提升 LLM 数据选择效率的有效路径。
来源:arXiv · ML · arxiv.org