arXiv · ML· Gaurav Kolhe, Cansu Demirkiran, Shubhi Tyagi, Sulaiman Sadiq, Boyao Wang, Richard Wang, Maximiliana Behnke, Shreyas Labhsetwar, Levi Melnick, Matthew Mattina, Partha Maji·· 8 小时前AI 评分27
MXCode: 面向大规模 MX 原生推理的矢量量化方法
MXCode: Vector Quantization for MX-Native Inference at Scale
AI 导读
研究团队提出 MXCode 框架，结合矢量量化与 MicroXcaling 原生 FP4 计算，实现约 2 比特权重存储。 该方法通过 PostScale、PreScale 及 PreScale+ 策略，在 Qwen3 (235B) 等模型上验证，GB300 硬件下模型加载内存降低约 50%。
来源：arXiv · ML · arxiv.org