arXiv · AI· Man Liu, Xingchen Liu, Hairui Zhao, Guangming Tan, Dingwen Tao·· 3 小时前AI 评分20
FP4Quant：面向模型并行 LLM 训练的高效 4-bit 通信压缩方法
FP4Quant: Efficient 4-Bit Communication Compression for Model-Parallel LLM Training
AI 导读
FP4Quant 提出微分组 FP4 压缩框架，在 Qwen-7B 模型上较 BF16 实现最高 1.56× 端到端吞吐量提升。 该框架包含微分组双尺度量化、warp 协作 FP4 打包及混合两级 FWHT 流水线，以优化 GPU 执行并降低量化误差。
来源：arXiv · AI · arxiv.org