arXiv · ML· Dhayaneshwar Balusamy, Ankur Mohan·· 10 天前AI 评分26
vLLM 中确定性 Triton Split-K 实现解决 LoRA 推理复现性问题
Reproducible LoRA Inference Through Deterministic Split-K Reduction
AI 导读
summary_zh: Atomic Split-K=8 导致 vLLM 中 97.61% 的 FP32 输出比较不一致,引发 17.30% 的 GSM8K 及 14.96% 的 MBPP 生成结果差异。
来源:arXiv · ML · arxiv.org