arXiv · ML· Faraz Tahmasebi, Haocheng Xu, Andrew Trauger, Yomal Perera, Zhenyu Tang, Nael Chowdhury, Sitao Huang·· 6 小时前AI 评分26
FIGFLEX: 与低比特 LLM 量化协同设计的混合精度 FP-INT GEMM 加速器
FIGFLEX: A Mixed-Precision FP-INT GEMM Accelerator Co-Designed with Low-Bit LLM Quantization
AI 导读
研究者发布 FIGFLEX，这是首个将混合精度量化与 bit-parallel 数据通路协同设计的 FP-INT GEMM 加速器。 该加速器通过 radix-4 乘法重构和 INT3 优化，在保持精度的同时显著提升算力效率。 在 LLaMA-2-7B 模型上，3-bit 混合精度下全芯片吞吐量比 AxCore 高 1.56 倍。
来源：arXiv · ML · arxiv.org