迈向架构无关的“注意力”定义

文章探讨了 Transformer 与 MLP 在上下文学习上的差异，指出 MLP 依赖记忆而 Transformer 实现上下文学习。 受论文启发，作者提出是否能在形式上独立于架构定义“注意力”。这一视角旨在开放讨论，探索注意力作为自动上下文化机制在模型中的普遍存在性。