跳到正文
arXiv · NLP· Thamme Gowda·· 3 天前AI 评分26

量化、校准与重排序:无损压缩LLM的配方

Quantize, Qualify, Rerank: A Recipe for Compressing LLMs Without Losing Quality

AI 导读

针对google/gemma-3-12b-it模型,结合量化与重排序可保持WMT翻译任务质量。 研究使用int8/fp8格式无损失,int4留残余;最佳4选1重排序器提升8/4位系统表现。

来源:arXiv · NLP · arxiv.org