arXiv · NLP· Jiaming Xu, Hanzhen Wang, Tianlang Zhao, Jiewen Xiao, Chengze Yuan, Jiayi Pan, Yongkang Zhou, Jiancai Ye, Yu Wang, Guohao Dai·· 8 小时前AI 评分20
DLite：面向 Agentic AI 的历史无关推测解码框架
DLite: History-free Speculative Decoding for Agentic AI
AI 导读
现有推测解码在 Agentic AI 负载下因历史 KV cache 导致接受长度最多下降 80%。 DLite 提出历史无关架构，直接复用目标模型隐藏状态，避免维护历史上下文。 该方法将 2-6 倍接受长度提升至 DSpark 的 70%，显著加速 LLM 推理。
来源：arXiv · NLP · arxiv.org