arXiv · NLP· Thamme Gowda·· 3 天前AI 评分26
量化、校准与重排序:无损压缩LLM的配方
Quantize, Qualify, Rerank: A Recipe for Compressing LLMs Without Losing Quality
AI 导读
针对google/gemma-3-12b-it模型,结合量化与重排序可保持WMT翻译任务质量。 研究使用int8/fp8格式无损失,int4留残余;最佳4选1重排序器提升8/4位系统表现。
来源:arXiv · NLP · arxiv.org