跳到正文
arXiv · ML· Md Rifat Arefin, Farzaneh Heidari, Irina Rish, Guillaume Rabusseau·· 9 天前AI 评分20

CP-MLPs: 张量秩视角下绑定与解耦 MLP 块的理论分析

CP-MLPs: A Tensor-Rank Theory of Tied and Untied MLP Blocks

AI 导读

CP-MLPs 提出张量框架分析 Transformer FFN,揭示绑定与解耦门控块在表达宽度上的差异。 解耦块(如 ReGLU、SwiGLU)在二次交互和角色不对称单项式上宽度效率严格更高,而绑定块(如 ReLU²)适配对称纯幂次目标。 实验表明损失平台低于精确表示宽度,但近似精度由边秩主导,代码已开源。

来源:arXiv · ML · arxiv.org