EntropyCache发布：基于熵引导的扩散LLM推理加速

【新报道时间 2026-11-03】arXiv（NLP，cs.CL）发布论文《EntropyCache：基于解码Token熵引导扩散语言模型KV缓存的方法》，由论文作者提出并发布EntropyCache方法。 该方法为免训练（training-free）的KV缓存技术，利用新解码Token分布的最大熵作为零额外成本信号来决定何时重新计算。在LLaDA-8B-Instruct等模型上实现了15.2×至26.4×的推理加速。 在链式推理基准测试中，该方法在保持有竞争力的准确率的同时，决策开销仅占总推理时间的0.5%。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。