跳到正文
arXiv · AI· Zhen Liu, Zhiqin Yang, Yonggang Zhang, Jianyi Liu, Jinjun Wang, Jingwen Fu·· 10 天前AI 评分21

AutoQS:利用大语言模型设计自动化量化策略

AutoQS: Automated Quantization Strategy Design with Large Language Models

AI 导读

提出 AutoQS 方法,利用 LLM 自动化设计量化策略,在固定权重精度下搜索各层及算子的 group-size 分配。 通过低开销代理评估筛选候选方案,并保留备用分配以指导后续 LLM 提议,周期性进行实际量化以获取质量反馈。 在 Qwen2.5-7B-Instruct 上,AutoQS 使 7 项任务平均准确率比 GPTQ 和 AWQ 分别提升 0.70 和 1.12 个百分点。

来源:arXiv · AI · arxiv.org