跳到正文
机器之心·· 2026-10-18AI 评分60

斯坦福博士博客:从记忆角度重新推导 Transformer 架构

你本可以发明Transformer?9年前论文就有线索?斯坦福博士这篇博客火了

AI 导读

Alex Wang 发表博客提出将线性层、MLP 和自注意力统一视为联想记忆存储器,并通过干扰信号比分析其容量差异。实验显示在 64 维键空间下,线性层容量约 64 条,GLU 式 MLP 约 2700 条,而自注意力理论容量可达 120 万条,容量差距近两万倍。该视角同时为 Qwen 的 LogN-Scaling 等长上下文扩展策略提供了记忆干扰层面的解释。

来源:机器之心 · mp.weixin.qq.com