跳到正文
arXiv · ML· Jinuk Kim, Rajarshi Saha, Muhammed Fatih Balin, Youngsuk Park·· 2026-10-14AI 评分36

混合精度量化预训练扩展定律

Mixed Precision Scaling Laws for Quantized Pretraining

AI 导读

研究者提出针对量化预训练的混合精度扩展定律,明确区分量化对模型容量与优化效率的影响。 该定律在现有4位配方分解与Qwen3实验验证下,预测误差比现有定律降低11倍。 研究进一步扩展至逐层混合精度,揭示最优精度随计算预算增加而提升的规律。

来源:arXiv · ML · arxiv.org