跳到正文
Xiaomi MiMo· 小米大模型·· 10 天前精选AI 评分60

Xiaomi MiMo-V3 预览新架构 HySparse2

HySparse2:Xiaomi MiMo-V3 新架构预览

AI 导读

小米发布 MiMo-V3 核心架构 HySparse2,面向长程多轮 Agent 优化 Prefill 计算与 KV Cache 占用。该架构通过两级 KV 共享和 token 级稀疏选择,将 Prefill 计算量降低,KV Cache 从 12GB 降至 2.7GB,并显著提升 MRCR-v2 与 RULER-v2 基准测试成绩。

推荐理由

架构设计细节完整,展示了如何在减少计算量的同时提升长上下文检索精度。

来源:Xiaomi MiMo · mp.weixin.qq.com