arXiv · ML· Zhiyuan Zhang, Yanzhao Li, Hui Dong, Sifan Cheng, Jingwei Zhang·· 3 天前AI 评分34
HiMX:基于定制化 HIFLOAT4 表示的混合格式矩阵乘法
HIMX: mixed-format matrix multiplication based on customized HIFLOAT4 representations
AI 导读
HiMX 提出混合尾数框架优化 4-bit 权激活量化(W4A4)LLM 推理,将 Qwen3-8B 平均端到端精度损失从 2.38 降至 1.77。 框架利用 S1P2 与 E2M1 互补特性,针对不同分布权重和激活优化量化,实现统一整数 MAC 阵列。 该异构尾数表示方法在 Qwen3-30B-A3B 上将精度损失从 2.23 降至 1.85,展现 W4A4 推理潜力。
来源:arXiv · ML · arxiv.org