跳到正文
arXiv · NLP· Yuchuan Weng, Xin Chen, Chi Liu·· 10 天前AI 评分39

bf16 递归状态导致混合推理模型思维链变长

Lost in Rounding: bf16 Recurrent State Makes Hybrid Reasoning Models Think Longer

AI 导读

研究显示使用 bf16 递归状态会导致 6 个混合推理模型推理变长,其中 5 个模型几何平均长度增加 1.07x 至 1.27x。 在 Qwen3.5-9B 上,bf16 RTN 使准确率从 85.6% 降至 70.8%,LiveCodeBench pass@1 下降 12.6 至 13.4 分;bf16 SR 可消除长度增加并恢复准确率至 87.6%。

来源:arXiv · NLP · arxiv.org