arXiv · ML· Renyuan Liu (Richard), Yuyang Leng (Richard), Kaiyan Liu (Richard), Yuzhou Zhong (Richard), Shaohan Hu (Richard), Chun-Fu (Richard), Chen, Peijun Zhao, Heechul Yun, Shuochao Yao·· 23 小时前AI 评分31
LeanStream：面向端侧 LLM 高效推理的推测-精化流式框架
LeanStream: A Speculate-and-Refine Streaming Framework for Efficient on-Device LLM Inference
AI 导读
LeanStream 提出推测-精化流式框架，在移动与嵌入式端侧实现高效 LLM 推理。 相比既有端侧系统，内存占用降低 4.8×–7.5×，token 生成吞吐提升 1.6×–2.1×；代码已开源。 论文被 ACM MobiCom 2026 接收。
来源：arXiv · ML · arxiv.org