arXiv · AI· Akshat Ramachandran, Reena Elangovan, Rangharajan Venkatesan, Charbel Sakr, Tijmen Blankevoort, Brucek Khailany, Tushar Krishna·· 10 天前AI 评分20
AutoEMatic 实现运行时自适应混合精度 LLM 推理
AutoEMatic: Runtime-Adaptive Mixed-Precision LLM Inference via Automatic Exponent-Mantissa Refinement
AI 导读
提出 AutoEMatic 运行时自适应混合精度推理框架,通过熵和隐藏状态更新信号动态调整权重、激活及 KV cache 精度。 基于 NVFP4 底层构建 AutoFP 多尺度浮点格式,实现 2、4、6 bit 精度;在 GB300 GPU 上保持 90-98% 的 NVFP4 解码吞吐量。
来源:arXiv · AI · arxiv.org