arXiv · ML· Zhenting Zhu, Lucas Thai, Shan Yu, Yicheng Liu, Yifan Qiao, Chenxi Wang, Harry Xu, Junyi Shu·· 10 天前AI 评分31
HEAL:实现 LLM 推理可重现的混合误差缓解方法
Demystifying Numerical Instability in LLM Inference: Achieving Reproducible Inference for Mission-Critical Tasks with HEAL
AI 导读
针对 LLM 在关键任务中因 16-bit 精度导致的多 GPU 输出分歧,研究提出 HEAL 方法。 HEAL 结合 INT16 量化与 16-bit Tensor Core 的高精度矩阵乘法,在保持 FP32 基线可重现性的同时,将性能开销降低高达 6.0 倍。 该方法解决了全局 FP32 流水线的高内存与计算代价,为金融、医疗等领域的 LLM 部署提供了解决方案。
来源:arXiv · ML · arxiv.org