arXiv · ML· Stanislav Budzinskiy, Marian Gloser, Tolunay Yilmaz, Ying Hong Tham, Yuanyi Lin, Wenyi Fang, Fan Wu, Philipp Petersen·· 23 小时前AI 评分25
LAMP：大语言模型的前瞻混合精度推理
LAMP: Look-Ahead Mixed-Precision Inference of Large Language Models
AI 导读
LAMP 提出一种基于舍入误差分析的前瞻自适应混合精度推理策略。该策略在 Transformer 中通过仅对 g(x) 的少量关键组件进行高精度计算，其余部分采用低精度执行。在 GPT-2 模型上的数值实验表明，极低的重计算率即可实现高达两个数量级的精度提升。 该算法已被 NeurIPS 2026 接收，为本地化部署的大语言模型提供了高效的推理优化方案。
来源：arXiv · ML · arxiv.org