LinMix：基于线性领域归因的预训练数据混合方法

论文提出 LinMix，通过顶点采样替代传统的 Dirichlet 采样，以线性模型计算领域归因并确定最优数据混合权重。 在 1B 参数的 OLMo2 和 4B 参数的 Qwen3.5 预训练实验中，LinMix 在 MBPP 上相对提升 46%，在 GSM8K 上提升 14%，且在 288 个细粒度领域下平均准确率提升 11%。