arXiv · ML· Chang Lu, Mengjiao Zhang·· 10 天前AI 评分29
FP4 预训练损耗罕见事实获取:验证损失掩盖的低精度训练效率损失
What the Loss Curve Misses: FP4 Pretraining Slows the Acquisition of Rare Facts
AI 导读
使用 FP4 预训练比 BF16 需多 1.32倍至 1.52倍 曝光次数 才能匹配罕见事实 召回率,而验证损失仅差 0.5%至 2%。 零均值梯度噪声 复现 反向传播 量化 成本,且 噪声 仅注入 Adam 二阶动量估计 时 成本 随 训练 结束 而 减弱。 建议 在 评估 低精度 配方 时 同步 测量 罕见事实 获取 指标,而非 仅依赖 损失曲线。
来源:arXiv · ML · arxiv.org