跳到正文
arXiv · ML· Aleks Blagojevich, Trevor Sunderland·· 7 天前AI 评分32

量化对比中的噪声底线:引擎、重启、批次与内核漂移对 8 位与 4 位影响的测量

The Noise Floor of a Quantization Comparison: Engine, restart, batch and kernel drift, measured against 8-bit and 4-bit effects in two decision models

AI 导读

在 Cloudflare 的 Clef-flash 和 Clef 模型上,非量化因素(如引擎、重启、批次)导致的决策变化在 0 到 0.92% 之间。 同引擎内的量化影响显著,Clef 模型在 Q4_K_M 格式下决策变化达 5.79%。 作者开源了代码与预注册数据,用于复现 31,275 题的量化精度对比。

来源:arXiv · ML · arxiv.org