arXiv · AI· Vedant Jhaveri, Arashpreet Singh Mor, Satyam Kumar, Alex Tsun, Qing Lan, Shaunak Mishra, Sriram Vasudevan·· 2 天前AI 评分26
提出 Trie-Head 生成检索系统:宽束搜索吞吐量提升 5.57 倍
Efficient Wide-Beam Generative Retrieval with Model-Native Trie Decoding and Shared-Context Attention
AI 导读
Trie-Head 采用模型原生输出接口存储标识符 Trie,结合共享上下文注意力,在 Qualification Retrieval Platform 上使闭环吞吐量较 CLP 基线提升最多 5.57 倍。 机制通过复用 Prompt 的 KV 块减少重复计算,在束宽为 200 时较 BF16 FlashRec 提升 2.63 倍,且无需重新训练即可保留原始模型的有效 token 分数。
来源:arXiv · AI · arxiv.org