跳到正文
arXiv · NLP· Bobo Li, Jiajia Song, Hao Fei, Wynne Hsu, Mong Li Lee·· 18 天前AI 评分23

Flide:基于精确状态分叉的决策推理加速引擎

Flide: Accelerating Decision Inference with Exact State Forking

AI 导读

Flide 引擎通过解耦逻辑树结构与物理执行流,在 GPU 驻留索引上实现精确算术推理,查询速度较 vLLM 和 SGLang 快 9.5 倍。 该引擎利用 ForkAttention 机制处理标准注意力及 Gated DeltaNet 递归层,支持从检查点恢复扩展的智能体历史。 Flide 为可扩展且低延迟的代理系统决策智能奠定了基础。

来源:arXiv · NLP · arxiv.org