跳到正文
arXiv · NLP· Xingyang Li, Tianlang Zhao, Song Han, Ligeng Zhu·· 12 小时前AI 评分24

QDA:基于智能体的闭环大语言模型量化设计

QDA: Closed-Loop LLM Quantization Design with Agents

AI 导读

QDA 利用智能体自动设计量化配方,在 W4A16、W4A8 和 W3A16 精度下平均精度比最强公开配方高 0.9、1.4 和 2.2 个百分点。 该系统通过计算 KL 散度快速评分候选方案,并提供兼容新架构的公开 PTQ 方法库,每次搜索仅需 64 个 GPU-hours。 在 GLM-5.3-Flash 模型上,QDA 恢复了 FP8 模型 98.3% 的准确率,所有检查点均无推理开销。

来源:arXiv · NLP · arxiv.org