跳到正文
arXiv · NLP· Yuhan Chen, Siyuan Zhang, Nan Wang, Feiyang Kang, Ruoxi Jia·· 2026-10-07AI 评分35

Hybrid Latent Attention 使 Ouro 循环语言模型每 token KV 缓存缩小 10.7 倍,GPU 并发序列提升 4.0-8.8 倍。

Hybrid Latent Attention for Looped Language Models

AI 导读

1.4B 和 2.6B 参数 Ouro 模型经 uptraining 后,1K/16K 上下文解码吞吐提升 2.5 至 7.4 倍,保持 97% 以上基准准确率。

来源:arXiv · NLP · arxiv.org