arXiv · ML· Mina Dalirrooyfard, Christopher Ye·· 2026-10-15AI 评分21
在线分词算法实现近线性时间与最优延迟
Online Tokenization with Optimal Delay in Linear Time
AI 导读
该研究提出一种在线分词算法,在保持输出延迟最优(至常数因子内)的同时,实现了近线性时间复杂度。 算法基于 P≠NP 假设确立了条件性下界,表明无法在常数因子内超越该延迟。实测显示,该算法在首 token 延迟上比 tiktoken 快 7.9×–34.8×,吞吐量提升 2.4×–7.0×,且内存占用保持近似恒定。
来源:arXiv · ML · arxiv.org