arXiv · ML· Eliyahu Levy, Adam Teman, Yoni Pugachov·· 2026-10-08AI 评分30
TR-PTQ:基于泰勒区域重构的高精度纯整数 Transformer 训练后量化
TR-PTQ: High-Accuracy Integer-Only Transformer Post Training Quantization via Taylor Region Reformulation
AI 导读
TR-PTQ 通过泰勒区域重构实现纯整数推理,在视觉与语言基准测试中准确率绝对下降幅度小于 1.5%。 该方法使用共享泰勒区域对数/指数原语,在日志域通过标准整数算术完成除法与平方根,结合无校准的离群值感知 LayerNorm 优化。 该方法消除了非线性计算对浮点硬件单元的需求,解决了由归一化层学习参数和 GELU 复合近似导致的精度损失。
来源:arXiv · ML · arxiv.org