跳到正文
arXiv · NLP· Jundong Hu, Shekar Ramachandran·· 3 天前AI 评分26

LLM 量化损伤结构:为何精度预算应全局分配

The Structure of Quantization Damage in LLMs: Why the Next Bit Should Be Spent Globally

AI 导读

跨 4 个架构族 9 个开源模型的因果干预测试表明,量化损伤分布广泛而非集中于任务电路或权重统计,在 128 组量化兼容的 8 个模型中,全局提升量化粒度比局部修复关键层高出 21-52 分。

来源:arXiv · NLP · arxiv.org