arXiv · NLP· Yuhan Chen, Siyuan Zhang, Nan Wang, Feiyang Kang, Ruoxi Jia·· 2026-10-07AI 评分35
Hybrid Latent Attention 使 Ouro 循环语言模型每 token KV 缓存缩小 10.7 倍,GPU 并发序列提升 4.0-8.8 倍。
Hybrid Latent Attention for Looped Language Models
AI 导读
1.4B 和 2.6B 参数 Ouro 模型经 uptraining 后,1K/16K 上下文解码吞吐提升 2.5 至 7.4 倍,保持 97% 以上基准准确率。
来源:arXiv · NLP · arxiv.org