arXiv · NLP· Minsoo Cheong, Donghyun Son, Woosang Lim, Sungjoo Yoo·· 8 小时前AI 评分24
EntropyCache：基于解码Token熵引导扩散语言模型KV缓存的方法
EntropyCache: Decoded Token Entropy Guided KV Caching for Diffusion Language Models
AI 导读
EntropyCache提出一种免训练的KV缓存方法，在LLaDA-8B-Instruct等模型上实现15.2×至26.4×推理加速。 该方法利用解码Token分布的最大熵作为常数成本信号，仅在链式推理基准测试中保持竞争性准确率，决策开销仅占推理时间的0.5%。
来源：arXiv · NLP · arxiv.org