arXiv · ML· Sai Sreenivas Chintha, Chidera Biringa, Rishab Sharma, Anusha Agrawal, Prachi Badarayani, Gemma Zhang, Nigel Boachie Kumankumah, Marco Ayala, Sulaiman Vesal·· 8 小时前AI 评分20
CADENCE 如何通过自适应解码实现 1.3x 生成吞吐量提升
Next Token or Vector? Learning How Far to Decode
AI 导读
研究团队提出 CADENCE 方法，在 Llama-3.1-8B-Instruct 模型上实现最高 1.3 倍的生成吞吐量提升。 该方法采用高斯预测头将未来片段表示为连续潜在向量，并通过学习路由器根据隐状态自适应选择解码粒度。 实验显示，在 Alpaca、GSM8K 和 HumanEval 基准测试中，路由器选择的位置草案接受率显著高于固定长度预测。
来源：arXiv · ML · arxiv.org