arXiv · ML· Juan Amboage, Pablo Monteagudo-Lago, Ian Colbert, Giuseppe Franco, Nicholas Fraser·· 9 小时前AI 评分26
PiSO：基于分段最优标度的大语言模型后训练量化算法
Optimal Post-Training Quantization Scales and Where to Find Them
AI 导读
PiSO 提出了一种后训练量化算法，能根据校准数据为 LLM 选择全局最优的通道级标度，显著降低重构误差。 该算法在 Llama 和 Qwen 多个尺寸与位宽实验中一致提升了困惑度与零样本准确率；在 2 位量化下，PiSO 可将 Qronos 的 Llama-3 困惑度降低多达 7 倍。
来源：arXiv · ML · arxiv.org