arXiv · ML· Alireza Dadgarnia, Soroush Tabesh, Mahdi Nikdan, Michael Helcig, Eldar Kurtic, Maximilian Kleinegger, Dan Alistarh·· 9 天前AI 评分32
GSQ通过Gumbel-Softmax采样实现LLM高精度低精度标量量化
GSQ: Highly-Accurate Low-Precision Scalar Quantization for LLMs via Gumbel-Softmax Sampling
AI 导读
GSQ在Llama-3.1-8B/70B-Instruct模型上,以2-3 bits精度闭合了标量量化与QTIP前沿的差距,且兼容现有标量推理内核。 方法支持GGUF格式精度提升,并扩展至万亿级Kimi-K2.5 MoE模型,已公开源码并被NeurIPS 2026接收。
来源:arXiv · ML · arxiv.org