跳到正文
arXiv · NLP· Zhengyang Su, Isay Katsman, Yueqi Wang, Ruining He, Lukasz Heldt, Raghunandan Keshavan, Shao-Chuan Wang, Xinyang Yi, Mingyan Gao, Onkar Dalal, Lichan Hong, Ed Chi, Ningren Han·· 2026-10-08AI 评分36

STATIC 实现 LLM 生成式检索的高效受限解码

Vectorizing the Trie: Efficient Constrained Decoding for LLM-based Generative Retrieval on Accelerators

AI 导读

论文提出 STATIC 技术,通过稀疏转换矩阵加速 Trie 索引,实现 LLM 受限解码。 该方法将树结构扁平化为 CSR 矩阵,在 TPU/GPU 上比 CPU 快 948 倍,推理开销仅占 0.25%。 STATIC 已部署于服务数十亿用户的工业视频推荐平台,显著提升冷启动性能。

来源:arXiv · NLP · arxiv.org