跳到正文
arXiv · AI· Tianqi Xu, Lu Lv, Haoyang Huang, Wenjie Huang, Zhanming Shen, Yuhao Shen, Baolin Zhang, Xinyi Hu, Shuang Ge, Jun Dai, Tianyu Liu, Suorong Yang, Zhikai Li, Ye Bai, Jun Zhang, Lei Chen, Yue Li, Mingchen Wan·· 11 天前AI 评分35

TailSieve:基于部分回滚指导的长尾路由 LLM 回滚框架

TailSieve: Partial-Rollout-Guided Tail Routing for LLM Rollouts

AI 导读

TailSieve 提出了一种基于部分回滚指导的框架,通过联合控制长尾路由和副本分配来优化 LLM 大规模回滚性能。 该框架利用部分回滚完成状态作为无训练信号识别长尾组,并采用分层控制器动态调整隔离组数量与副本分配。 实验显示,仅使用路由可实现最高 1.67 倍加速,结合推测解码后加速比达 2.59 倍。

来源:arXiv · AI · arxiv.org