跳到正文
arXiv · ML· Mukund Athmaram, Liang Ma, Manoj Rao·· 2 天前AI 评分28

TempQuant 为量化语言模型学习自适应温度与 top-p 参数

TempQuant: Learning Adaptive Temperatures for Quantized Language Models

AI 导读

TempQuant 通过学习自适应温度与 top-p,显著提升量化大语言模型的生成准确性。 在 3-bit Qwen3-4B 模型上,全局 TempQuant 将 MATH 评测准确率从 34% 提升至 51%。 该方法弥补了量化导致的性能下降,使量化模型行为更接近全精度基准。

来源:arXiv · ML · arxiv.org