arXiv · NLP· Liana Patel, Rishabh Ranjan, Ion Stoica, Matei Zaharia, Carlos Guestrin·· 4 小时前AI 评分33
TokenGate：通过可学习 Token 剪枝实现 LLM 快速且内存高效的预填充
TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning
AI 导读
TokenGate 通过引入可学习 Token 剪枝，在不降低精度的前提下将 Transformer 预填充的 TTFT 加速 1.4-11.3 倍，峰值内存降低 1.5-3.4 倍。
来源：arXiv · NLP · arxiv.org