跳到正文
arXiv · ML· Shinyoung Kang, Junhyung Ahn, Yujun Kim, Jungho Park·· 8 小时前AI 评分31

Integer-Exact Microscaling: 在 INT8 矩阵单元上运行 MXFP4 语言模型

Integer-Exact Microscaling: Running MXFP4 Language Models on INT8 Matrix Units

AI 导读

论文提出一种将 MXFP4 语言模型权重精确映射为 INT8 操作数的方法,使 4 位权重在仅支持 INT8×INT8 数据通路的硬件(如 Apple M5 神经网络加速器)上执行。

来源:arXiv · ML · arxiv.org