arXiv · AI· Jongseok Park, Sunga Kim, Alvin Cheung, Ion Stoica·· 8 小时前AI 评分31
Qrita: 基于枢轴截断与选择的 GPU 高性能 Top-k 与 Top-p 算法
Qrita: High-performance Top-k and Top-p Algorithm for GPUs using Pivot-based Truncation and Selection
AI 导读
Qrita 利用枢轴搜索实现高效 Top-k 和 Top-p 采样，显著提升 LLM 服务吞吐。 通过高斯截断减少搜索空间，四元枢轴搜索减半迭代并保证确定性输出。 相比 SGLang 和 FlashInfer，端到端吞吐最高提升 1.4 倍，内存占用减半，已成为 vLLM 默认采样器。
来源：arXiv · AI · arxiv.org