跳到正文
Ahead of AI· Sebastian Raschka, PhD·· 2025-11-04AI 评分67

超越标准LLM架构:线性注意力混合、文本扩散模型与世界模型综述

Beyond Standard LLMs

AI 导读

文章梳理标准LLM之外的替代架构,涵盖线性注意力混合模型、文本扩散模型、世界模型与小规模递归Transformer。Qwen3-Next 和 Kimi Linear 采用 Gated DeltaNet,通过3:1混合注意力实现75%的KV缓存削减。

来源:Ahead of AI · magazine.sebastianraschka.com