arXiv · AI· Aayush Mishra, Arnau Padr\'es Masdemont, Victor Conchello Vendrell, Jordi Ros Giralt, Arash Behboodi, Fabio Valerio Massoli·· 2026-10-08AI 评分38
Ouro 模型如何实现动态计算:基于最优可用 KV 缓存策略
Enabling Dynamic Computation in Looped LMs
AI 导读
Ouro 模型因早期退出先验均匀施加且每层需独立 KV 缓存,未能实现动态计算。 研究者提出“最优可用”KV 缓存策略,使 Ouro 模型在保留全深度性能的同时,减少 30% FLOPs 和 KV 内存。该方法还改进了早期退出目标,使 token 基于难度以异质深度退出。
来源:arXiv · AI · arxiv.org