arXiv · NLP· Antal van den Bosch·· 7 天前AI 评分33
基于记忆的分类器草案模型 Olifant 实现绿色文本生成
Towards Green Text Generation: Memory-Based Speculative Decoding
AI 导读
基于记忆分类器的草案模型 Olifant 在 CPU 上预测下一 token 耗时低于 0.3 ms,无需 GPU 或反向传播。在无 KV cache 的 LLM 验证器中,Olifant 接受率达 38.1%,吞吐量提升 2.43 倍,单 token 能耗降低 2.51 倍。这表明只要草案生成成本极低,推测解码在快速验证器时代仍具有显著能源效率优势。
来源:arXiv · NLP · arxiv.org