Muir 线性注意力模型发布

Muir 是一款线性注意力模型，由 Tushaar Gangavarapu 等人于 2026 年 11 月 6 日提出。该模型采用敏感度分配门控与匹配滤波器读出机制，将门控融合进低秩投影，并以更宽前馈网络复投参数。在 166M 至 1.34B 参数规模下，其困惑度较 Transformer 降低 2.5%-3.6%。 在 1.34B 参数规模下，Muir 实现了多跳召回超越基线，训练速度较 Transformer 快 2.7 倍。此外，该模型具备强大的外推能力，以 4K 训练长度外推至 10M token 流时，未出现困惑度漂移。 2026 年 11 月 7 日，研究者通过社交媒体平台发布消息，确认该模型采用灵敏度分配门控和匹配滤波器读出的线性注意力架构，并提供相关论文链接，进一步推动了该模型在技术社区的传播与讨论。

AI 根据报道生成 · 8 小时前更新