arXiv · NLP· Michael Y. Hu, Apurva Gandhi, Kyunghyun Cho, Tal Linzen, Pratyusha Sharma·· 8 小时前AI 评分37
OP-Mix 提出统一数据混合算法，贯穿预训练与持续学习全流程
Always Learning, Always Mixing: Efficient and Simple Data Mixing All the Time
AI 导读
OP-Mix 提出跨预训练、中训及指令微调的统一数据混合算法，无需独立代理模型，通过插值低秩适配器模拟候选混合策略。 在预训练中，OP-Mix 相比无混合训练降低 6.3% 平均困惑度；在持续学习中，其性能匹配重训与在线策略蒸馏，但计算量分别减少 66% 和 95%。 OP-Mix 将语言模型训练视为单一连续学习过程，NeurIPS 2026 录用。
来源：arXiv · NLP · arxiv.org