跳到正文
arXiv · ML· Antonij Mijoski, Marko Karbevski·· 2026-10-07AI 评分25

无跳跃连接的同宽 MLP 无法精确吸收跳跃连接

Can an MLP Absorb Its Own Skip Connection Exactly?

AI 导读

研究证明,对于当前前沿大语言模型中使用的 ReLU^2、ReGLU、SwiGLU 和 GeGLU 激活函数,无跳跃连接的 MLP 在任何深度下都无法精确计算与带跳跃连接块相同的函数。

来源:arXiv · ML · arxiv.org