Hacker News LLM· matt_d·· 10 天前AI 评分50
FlashStates 论文:实现智能体 LLM 混合状态管理
FlashStates Unlocking Flexible Hybrid State Management for Agentic LLM Inference
AI 导读
FlashStates 提出了解耦循环检查点位置与 KV 缓存边界的方法,实现了细粒度状态重用。在 GLM-5.3-Flash 等模型的测试中,相比 vLLM 提升了最高 3.02 倍的解码吞吐量,并将 P50 首 token 时间降低了 16.3 倍。
来源:Hacker News LLM · flashstates.ai