Mamba 模型中 First-Token 吸引机制理论分析与 Falcon-Mamba-7B 实验验证

Mamba 模型首个 token 的极限方向吸引后续 token，导致 token 聚类及 attention-sink 现象。 研究者提出基于高维不变盒的新分析框架，证明了 token 轨迹的显式指数收敛率。 Falcon-Mamba-7B 实验证实该聚集效应随模型深度增加而增强，并在深层占主导。