跳到正文
arXiv · ML· Seyed Morteza Emadi·· 10 天前AI 评分21

ICML 2026 论文:面向稳定低精度训练的注意力 Logits 秩感知谱界

Rank-Aware Spectral Bounds on Attention Logits for Stable Low-Precision Training

AI 导读

研究人员提出秩感知谱界方法,为 Transformer 注意力低精度训练提供溢出保护,在 Llama-2-70B 等模型上消除 FP8 溢出且 MMLU 准确率持平。 该方法基于交互矩阵谱范数计算每层缩放因子,结合隐式幂迭代和融合注意力内核,相比无秩感知界收敛更紧密。 论文已被 ICML 2026 接收,代码已公开。

来源:arXiv · ML · arxiv.org