arXiv · AI· Dongwei Wang, Jinhee Kim, Seokho Han, Denis Gudovskiy, Yohei Nakata, Tomoyuki Okuno, KhayTze Peong, Kang Eun Jeon, Jong Hwan Ko, Yiran Chen, Huanrui Yang·· 17 天前AI 评分31
MoBiQuant:基于混合位宽的任意精度 LLM 量化框架
MoBiQuant: Mixture-of-Bits Quantization for Token-Adaptive Any-Precision LLM
AI 导读
提出 MoBiQuant 任意精度 Mixture-of-Bits 量化框架,根据 token 敏感性动态调整权重精度,实现灵活 LLM 推理。 采用“多合一”递归残差量化运行时重建高精度权重,并用 token-aware router 动态选择最优推理精度以缓解离群点迁移。 实验显示,其在匹配或超越前沿单精度 PTQ 的同时,比现有方法实现最高 1.34 倍的吞吐增益和显著内存节省。
来源:arXiv · AI · arxiv.org