Hugging Face Blog·· 2022-08-02AI 评分32
Nyströmformer:如何通过 Nyström 方法以线性时间和内存近似自注意力机制
Nyströmformer: Approximating self-attention in linear time and memory via the Nyström method
AI 导读
Hugging Face 博客介绍了 Nyströmformer,该模型通过 Nyström 方法将标准自注意力的时间和内存复杂度从 O(n^2) 降低至 O(n)。 其核心机制是利用查询和键的段均值构造 32 或 64 个 landmark 点,避免直接计算完整的 QK^T 矩阵,从而在长序列(如 4096 或 8192 长度)下保持竞争性性能。
来源:Hugging Face Blog · huggingface.co