arXiv · ML· Zhenghao Zhao, Gaowen Liu, Zhiling Lan, Yan Yan·· 2026-10-05AI 评分33
Fisher-Guided Submodular Data Selection for Continual Pre-Training of Large Language Models
Fisher-Guided Submodular Data Selection for Continual Pre-Training of Large Language Models
AI 导读
该研究提出一种基于 Fisher 信息的次模数据选择器,用于大语言模型持续预训练,通过分解梯度控制灾难性遗忘。在 TinyLlama-1.1B 和 Llama-3.1-8B 的医疗数据实验显示,选择 1B tokens 的效果优于回放策略的 10B tokens,实现 10 倍 token 效率提升。
来源:arXiv · ML · arxiv.org