量子位· 一水·· 4 小时前精选AI 评分82
EdgeRock-4B开源：KV Cache固定72MiB，单卡吞吐量达Qwen3.5-4B的6倍
KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型
AI 导读
岩山科技旗下岩芯矩阵联合港科大、CMU等机构开源了模型EdgeRock-4B，其核心创新在于固定KV Cache占用为72MiB，不随上下文长度增加。
推荐理由
该模型展示了固定内存下长推理的可行方案，并提供了开源代码与模型，便于工程落地参考。
来源：量子位 · qbitai.com