跳到正文
arXiv · ML· Albert Gong, Annabelle Michael Carrell, Raaz Dwivedi, Lester Mackey·· 2026-10-07AI 评分24

Express:实现因果注意力近似的语言建模工具

Express Language Modeling

AI 导读

summary_zh: 工具 Express 将非因果注意力近似转换为因果近似,结合 Thinformer 实现 $\log^{3/2}(n)/s$ 近似误差,仅需 $O(s)$ 内存。

来源:arXiv · ML · arxiv.org