arXiv · ML· David Jin, Beshr IslamBouli, Tarushii Goel, Han Guo, Yoon Kim·· 5 小时前AI 评分27
BiLoCo 通过二进制低秩修正提升大语言模型 FP4 量化精度
BiLoCo: Binary Low-Rank Corrections for Post-Training Quantization
AI 导读
研究提出 BiLoCo 方法，使用二进制低秩修正改善大语言模型 FP4 后训练量化精度。 该方法将低秩因子存储为二进制符号向量，每秩存储减少 16 倍，并在 CUDA 核心上并行执行。在 4B 至 72B 模型上，BiLoCo 性能匹配或优于 SVDQuant。
来源：arXiv · ML · arxiv.org