跳到正文
arXiv · NLP· S M Mahbub Murshed, Hayden Bright, Rezaul Karim, Ali Shiri Sichani·· 2026-10-14AI 评分29

EdgeLLM-Nano:基于 33.6 MB 端侧模型的 KV 缓存压缩审计

EdgeLLM-Nano: Auditing Polar-Guided Key-Cache Compression and Consistency-Anchored Pruning on a 33.6 MB On-Device Language Model

AI 导读

研究者提出 EdgeLLM-Nano,在 8.39M 参数(33.6 MB)端侧 LLM 上审计 KV 缓存压缩。 RTN 对照组性能优于极引导量化,一次性幅度剪枝不劣于一致性锚定剪枝;LCDF 评估方法能区分不同后端,而困惑度对所有方法均给出 5.461 的相同分数。

来源:arXiv · NLP · arxiv.org