跳到正文
arXiv · ML· Haozhan Tang, Hao Kang, Han Cai, Song Han, Chenyan Xiong·· 21 天前AI 评分28

Delta-Matching 弥合大语言模型原生 8 位训练的最后一道鸿沟

Delta-Matching: Closing the Final Gap of Native 8-bit Training for LLMs

AI 导读

提出 Delta-Matching 方法,解决 FP8 注意力前反向不一致导致的陈旧梯度问题,使 LLM 原生 8 位训练匹配 BF16/FP32 精度。 证明该方法恢复 softmax 梯度零行和不变量,无需架构修改或更小全局批次即可在块缩放 FP8 下运行。 在 1.67B 和 5.29B 模型上验证性能,消除下游任务性能退化,并计划开源实现、模型及数据配方。

来源:arXiv · ML · arxiv.org