arXiv · NLP· Ziqing Qiao, Xiaoyue Xu, Sikui Zhang, Yinuo Xu, Bingxiang He, Chaojun Xiao, Xu Han·· 16 小时前AI 评分37
长上下文持续预训练（LCCP）的实证缩放定律：不要过早停止
Don't Stop Long-Context Continual Pre-Training Too Early: An Empirical Scaling Law
AI 导读
研究确立了长上下文性能与模型规模及短/长上下文 token 预算之间的实证加法幂律。 在 5 种模型规模和 100 多种配置下验证，该定律能准确预测 1.22B 参数模型在 100B LCCP token 下的性能轨迹。 结果显示 LCCP 收益可稳定观测、量化预测，并迁移至 128K 上下文扩展及监督微调后的智能体任务。
来源：arXiv · NLP · arxiv.org