LARE方法加速LLM预训练

1. 12:00
   arXiv · AI

   LARE：通过固定数据曝光下的损失重加权加速 LLM 预训练

   提出 LARE 方法，在固定数据曝光下自动调整域权重，1.5B 模型在 240B tokens 上训练时，五项评测基准平均提升 7.84 个百分点。 基于梯度噪声理论，LARE 采用归一化平方根倒数规则平衡损失尺度，无需额外搜索即可在 GSM8K 提升 17.06 分，MATH 提升 9.00 分。 该方法证明了在不增加领域数据曝光的情况下，调整域损失尺度可提升多任务联合能力。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。