arXiv · ML· Sheng Zhao, Yuhao Zhu·· 2026-10-12AI 评分33
预训练知识组织塑造知识更新效率:专家模型比通用模型学习更快
Specialists Learn Faster: Knowledge Organization in Pre-training Shapes Knowledge Update Efficiency
AI 导读
研究发现,预训练阶段按时间顺序组织知识形成的“专家模型”,比随机打乱顺序训练的“通用模型”更新知识所需的步骤更少。 该研究从第一性原理推导了将更新成本与模型优化动力学关联的定律,并设计了一种保留历史稳定知识且高效更新当前知识的预训练数据组织策略。 这些优势被证实可扩展至现有的预训练模型及知识更新工具,并适用于其他知识排序方式。
来源:arXiv · ML · arxiv.org