跳到正文
arXiv · ML· Anthony Kostal-Vazquez, Vassil Dimitrov, Branden Butler·· 2026-10-12AI 评分22

AIQ 算法ic:面向 LLM 推理的代数整数量化

Algebraic Integer Quantization for Machine Learning Applications

AI 导读

提出代数整数量化(AIQ)作为 LLM 推理的有损压缩格式,在相同 bit-per-parameter 预算下,其在多个模型和 benchmark 上的精度表现与行业标准 MX 格式相当。 该框架通过将算术简化为纯整数运算,实现无误差的乘加操作,并利用现代硬件加速器上的矩阵乘法引擎,性能在可预测倍数内接近最高效的数值替代方案。

来源:arXiv · ML · arxiv.org