跳到正文
arXiv · NLP· Antal van den Bosch·· 7 天前AI 评分33

基于记忆的分类器草案模型 Olifant 实现绿色文本生成

Towards Green Text Generation: Memory-Based Speculative Decoding

AI 导读

基于记忆分类器的草案模型 Olifant 在 CPU 上预测下一 token 耗时低于 0.3 ms,无需 GPU 或反向传播。在无 KV cache 的 LLM 验证器中,Olifant 接受率达 38.1%,吞吐量提升 2.43 倍,单 token 能耗降低 2.51 倍。这表明只要草案生成成本极低,推测解码在快速验证器时代仍具有显著能源效率优势。

来源:arXiv · NLP · arxiv.org