arXiv · ML· Liang Zheng, Bowen Shi, Yitao Hu, Jiawei Zhang, Ruofan Li, Guotao Yang, Zhixin Zhao, Zhengchao Wang, Sheng Chen, Wenxin Li, Dezhi Ran, Tao Xie, Keqiu Li·· 10 天前AI 评分23
Mosaic 通过全局内存规划为扩散 LLM 解锁超 30 倍上下文长度
Mosaic: Unlocking Over 30$\times$ Context Length for Diffusion LLMs Inference via Global Memory Planning and Dynamic Peak Taming
AI 导读
Mosaic 提出内存高效推理系统,将扩散 LLM 最大推理序列长度在相同硬件上提升 15.30-32.34 倍,内存峰值与平均值比率降低 2.71 倍。 系统整合 mask-only logits 内核、延迟分块优化器及全局内存管理器,实现无训练且保留精确模型输出,端到端延迟降低 2.5%-55.4%。 该研究发表于 ICML 2026,代码已公开。
来源:arXiv · ML · arxiv.org