arXiv · NLP· Anjulie Agrusa, Andrei Panferov, Elizabeth Wei, Keith Wyss, Paul Gibbons, Erik Schultheis, Jinhang Choi, Frank Sun, Tijmen Blankevoort, Dan Alistarh·· 3 小时前AI 评分28
NVFP4 训练：低精度预训练配方对比研究
What Matters for NVFP4 Training? A Comparative Study of Low-Precision Pretraining Recipes
AI 导读
研究在 8B 和 30B-A3B MoE 模型上系统对比 NVFP4 低精度预训练配方，训练至 1T tokens，聚焦精度恢复的关键要素。 提出基于无偏梯度估计且量化误差低于随机取整的新配方，在 loss gap to BF16 上达到该规模下最强 FP4 训练结果。
来源：arXiv · NLP · arxiv.org