arXiv · ML· Antonij Mijoski, Marko Karbevski·· 2026-10-07AI 评分25
无跳跃连接的同宽 MLP 无法精确吸收跳跃连接
Can an MLP Absorb Its Own Skip Connection Exactly?
AI 导读
研究证明,对于当前前沿大语言模型中使用的 ReLU^2、ReGLU、SwiGLU 和 GeGLU 激活函数,无跳跃连接的 MLP 在任何深度下都无法精确计算与带跳跃连接块相同的函数。
来源:arXiv · ML · arxiv.org