跳到正文
arXiv · ML· Avichal Sahai (Ofbusiness), Nishant Raj (Ofbusiness), Animesh Srivastava (Ofbusiness)·· 2026-10-07AI 评分25

三元大模型导出管线审计:bf16 转换导致低学习率代码变更失效

Lost in the bf16 Cast: Exporting Ternary Language Models Can Revert Most Low-Learning-Rate Code Changes

AI 导读

审计发现 Falcon-E、BitCPM 和 BitNet 2B-4T 的导出管线将潜在权重转为 bf16 后,与 fp32 量化结果在 0.83% 至 1.77% 的代码上存在不一致。 该不一致源于 bf16 舍入恰好落在阈值上,导致部分代码被映射为零;修正措施可恢复模型在 GSM8K 等基准上的准确性。

来源:arXiv · ML · arxiv.org