arXiv · AI· Jiazheng Li, Huaqing Zhang, Jing Xu, Tianle Cai, Jingzhao Zhang·· 4 小时前AI 评分30
LARE：通过固定数据曝光下的损失重加权加速 LLM 预训练
Beyond Data Schedule: Fast LLM Pretraining on Data Mixtures by Loss-Reweighting
AI 导读
提出 LARE 方法，在固定数据曝光下自动调整域权重，1.5B 模型在 240B tokens 上训练时，五项评测基准平均提升 7.84 个百分点。 基于梯度噪声理论，LARE 采用归一化平方根倒数规则平衡损失尺度，无需额外搜索即可在 GSM8K 提升 17.06 分，MATH 提升 9.00 分。 该方法证明了在不增加领域数据曝光的情况下，调整域损失尺度可提升多任务联合能力。
来源：arXiv · AI · arxiv.org