跳到正文
arXiv · ML· Yi Zhang, Zhixin Zhao, Weiwei Sun, Yitao Hu, Sheng Chen, Keqiu Li·· 17 天前AI 评分34

ReWY 加速 Delta-Rule 注意力反向传播:矩阵乘法从 7 次减至 3 次

ReWY: Faster Backpropagation for Delta-Rule Attention - From 7 to 3 Matrix Multiplications

AI 导读

ReWY 通过代数重构将 Delta-Rule 线性注意力的局部矩阵乘从 7 次降至 3 次,消除逆伴随项,优化 DeltaNet 等模型的反向计算。 NVIDIA GPU 上四种算子全精度加速 1.18-1.70 倍,Ascend 950DT 上加速 1.09-2.89 倍,保持梯度精确性与架构不变。

来源:arXiv · ML · arxiv.org