跳到正文
arXiv · ML· Peixu Xin (Independent Researcher, Boston University), Runchuan Feng (Independent Researcher, Boston University), Jiazhen Guo (Google), Kan Wu (RadixArk), Ming Yin (Princeton University,Georgia Institute of Technology)·· 10 天前AI 评分45

Detent 实现 LLM 服务与 RL 滚动的批次不变性

Detent: Batch-Invariant LLM Serving and RL Rollouts at Near-Stock Speed

AI 导读

Detent 将内核选择表述为可执行程序,在 Llama-3.1-70B 和 Qwen3-30B-A3B 的多 GPU 部署中实现批次不变推理,输出 token 延迟仅为标准模式的 1.04-1.17 倍。 该方案在 SGLang 中匹配确定性模式 GSM8K 准确率,覆盖多种引擎、GPU 代际及 MoE 模型,支持 RL 滚动比特级复现。

来源:arXiv · ML · arxiv.org