跳到正文
热点事件持续更新

LCCP扩展实证幂律研究发布

1 篇报道1 个报道来源16 小时前更新

先了解这件事

AI 综述

arXiv最新发布的一篇NLP研究《Don't Stop Long-Context Continual Pre-Training Too Early》确立了长上下文性能与模型规模及短/长上下文token预算之间的实证加法幂律。 该定律在5种模型规模和100多种配置下得到验证，能够准确预测1.22B参数模型在100B LCCP token下的性能轨迹。 研究结果证实，长上下文持续预训练（LCCP）的收益可被稳定观测和量化预测，并能有效迁移至128K上下文扩展及监督微调后的智能体任务。

AI 根据报道生成 · 10 小时前更新

最新进展10月22日 12:00
长上下文持续预训练（LCCP）的实证缩放定律：不要过早停止

报道时间线

沿着报道，了解事件的不同侧面。

10月22日
  1. arXiv · NLP
    长上下文持续预训练（LCCP）的实证缩放定律：不要过早停止

    研究确立了长上下文性能与模型规模及短/长上下文 token 预算之间的实证加法幂律。 在 5 种模型规模和 100 多种配置下验证，该定律能准确预测 1.22B 参数模型在 100B LCCP token 下的性能轨迹。 结果显示 LCCP 收益可稳定观测、量化预测，并迁移至 128K 上下文扩展及监督微调后的智能体任务。

本事件热度走势

可比范围当前
7
可比范围峰值
810月22日 18:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。