arXiv · ML· Tushaar Gangavarapu, Gil Tabak, Clemens JS Schaefer·· 23 小时前AI 评分40
Muir：采用敏感度分配门控与匹配滤波器读出的线性注意力模型
Muir: Linear Attention with Sensitivity-Allocated Gating and Matched-Filter Readout
AI 导读
Muir提出敏感度分配门控与匹配滤波器读出机制，在166M-1.34B参数规模下将困惑度较Transformer降低2.5%-3.6%。 该模型在1.34B规模下多跳召回超越基线，且以4K训练长度外推至10M token流无困惑度漂移，训练速度较Transformer快2.7倍。
来源：arXiv · ML · arxiv.org