arXiv · AI· Daniele Solombrino, Antonio Andrea Gargiulo, Alessandro Zirilli, Luca Zhou, Adrian Robert Minut, Emanuele Rodol\`a·· 23 小时前AI 评分35
权重空间算术实现零样本量化
Zero-Shot Quantization via Weight-Space Arithmetic
AI 导读
研究提出利用权重空间算术提取“量化向量”,实现零样本迁移量化鲁棒性。在 3-bit 设置下,该方法将 PTQ Top-1 准确率提升高达 60%,且无需接收方进行量化感知训练。 在超过 30 个视觉与语言模型任务中,该向量在捐赠与接收任务差异显著时仍能带来收益。研究还严谨证明了量化向量定义良好且不受重参数化对称性影响。
来源:arXiv · AI · arxiv.org