arXiv · NLP· Zehao Lin, Qianfeng Shen, Xixuan Hao, Shaobo Cui, Chunyu Li, Kai Chen, Bo Tang, Zhenjun Wang, Jin Yan, Zhiyu Li, Feiyu Xiong·· 3 小时前AI 评分22
将自回归 LLM 控制编译为策略精确的并行推理以实现层次化 RAG
Compiling Autoregressive LLM Control into Policy-Exact Parallel Inference for Hierarchical RAG
AI 导读
该研究提出一种方法，将自回归 LLM 控制编译为并行推理，实现策略精确且零输出 token 的执行。 通过将控制流编译为浅层动作前缀树，该方法在 MetaX 设备上匹配串行策略 84-89% 的问答，控制延迟降低 35-47%。 H800 重复实验证实了排序一致性。
来源：arXiv · NLP · arxiv.org