跳到正文
arXiv · ML· Yuhao Liu, Salim Ullah, Akash Kumar·· 3 天前AI 评分42

LENS:在 Transformers 中以可学习归一化状态取代 LayerNorm 和 Softmax

LENS: Replacing LayerNorm and Softmax in Transformers with Learnable Normalization States

AI 导读

LENS 框架将 LayerNorm 重构为微型 MLP 并扩展至 Softmax,使更多计算转化为 GEMM 运算,适配 NPU 等硬件加速器。 在 ViT 图像分类和 Pythia 语言建模任务中评估,LENS 在部分视觉场景匹配或超越基线,并在 WikiText 等基准上保留大部分性能。

来源:arXiv · ML · arxiv.org