arXiv · NLP· Zinan Tang, Yukun Zhang, Shaomian Zheng, Zhuoshi Pan, Qizhi Pei, Dingnan Jin, Qing Cui, Jun Zhou, Yujun Wang, Biqing Huang·· 4 小时前AI 评分21
CausalMix：将语言模型训练中的数据混合视为因果推断
CausalMix: Data Mixture as Causal Inference for Language Model Training
AI 导读
CausalMix 提出将 LLM 数据混合优化建模为因果推断问题，解决静态假设导致的数据分布变化后需重训的局限。 作者利用 Qwen2.5-0.5B 的 512 次运行拟合 CATE 模型，并在 800K 数据池上外推最优混合策略训练 7B 模型。 该方法实现了离线推断状态依赖的数据混合，在下游任务中展现竞争力且具备可解释性。
来源：arXiv · NLP · arxiv.org