arXiv · ML· Sunghyun Wee, Geunjae Choi, Hyeonjin Kim, Suyoung Kim, Nojun Kwak·· 2026-10-16AI 评分33
Fractional PoT:实现高效无乘法器 LLM 推理的分数次幂二量化方法
Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference
AI 导读
研究提出 Fractional PoT(FPoT)量化方法,通过基于√2 的分数网格实现 4-bit 无乘法器 LLM 推理。 该方法结合校准时网格对齐与 1 加法器√2 近似,在 Llama-3-8B 模型上使零样本常识推理性能较 PoT 基线提升 8.72%。 FPoT 已获 NeurIPS 2026 接收,可与其他先进 PTQ 方法集成,展现出框架无关的适用性。
来源:arXiv · ML · arxiv.org