arXiv · ML· Avichal Sahai (Ofbusiness), Nishant Raj (Ofbusiness), Animesh Srivastava (Ofbusiness)·· 2026-10-07AI 评分25
三元大模型导出管线审计:bf16 转换导致低学习率代码变更失效
Lost in the bf16 Cast: Exporting Ternary Language Models Can Revert Most Low-Learning-Rate Code Changes
AI 导读
审计发现 Falcon-E、BitCPM 和 BitNet 2B-4T 的导出管线将潜在权重转为 bf16 后,与 fp32 量化结果在 0.83% 至 1.77% 的代码上存在不一致。 该不一致源于 bf16 舍入恰好落在阈值上,导致部分代码被映射为零;修正措施可恢复模型在 GSM8K 等基准上的准确性。
来源:arXiv · ML · arxiv.org