arXiv · NLP· Zhenyu Zhang, Zhichao Cao·· 2026-10-15AI 评分35
Delta Tokenizer 实现会话增量分词与长提示分块并行,基于 SGLang 降低 TTFT
Delta Tokenizer: Reference-Identical Tokenization of Session Deltas and Segment-Parallelism for Long Prompts on Multicore CPUs
AI 导读
Delta Tokenizer 实现仅对新增文本分词,相比 Hugging Face 基准模型将单次会话分词速度提升约 40 倍。 其分块并行路径在 16 核 CPU 上处理四百万字符请求时,比串行编码快 8.2 倍,比 LoPT 快 1.6-2.1 倍。 在 SGLang 中,该方法将 100K 令牌请求的 P99 TTFT 降低 23 倍,且输出与参考编码完全一致。
来源:arXiv · NLP · arxiv.org