arXiv · AI· Xiangjing An, Zhibin Jiao, Aiting Chen·· 1 天前AI 评分33
大模型全阶段训练综合框架：从数据与分词到预训练及后训练对齐
A Comprehensive Framework for All Stages of Large-Model Training: From Data and Tokenization, through Pretraining, to Post-Training Alignment
AI 导读
该研究提出统一的大模型全阶段训练框架，建立涵盖数据、目标函数、优化策略等六个维度的分析体系。 系统回顾了2017至2026年间的395篇核心参考文献，其中约79%为经过同行评审的A+B级证据，并构建了跨阶段效应概念图。 明确了预训练对后训练的前向约束，以及后训练对数据与预训练的逆向赋能机制，并识别出10个可验证的开放问题。
来源：arXiv · AI · arxiv.org