arXiv · AI· Neriah Ben David, Ori Meir, Or Ordentlich·· 2026-10-07AI 评分41
OSFP4 量化方案发布,在 NVFP4 推理中实现精度与速度平衡
OSFP4: Joint Optimization of Diagonal Smoothing and Block Scales for NVFP4 Quantization
AI 导读
OSFP4 通过联合优化对角平滑矩阵与块缩放,降低 NVFP4 量化误差。在相关设置下,其平均精度超过已评估竞品,并保留约 94-97% 的厂商 NVFP4 prefill 吞吐量。代码已在 arXiv 公布。
来源:arXiv · AI · arxiv.org