跳到正文
arXiv · ML· Seoyoon Yum, Sehoon Kim·· 2026-10-06AI 评分26

PhaseGate:面向统一内存端侧 LLM 的相位感知 CPU 检索调度

PhaseGate: Phase-Aware CPU Retrieval Scheduling for On-Device LLMs on Unified Memory

AI 导读

PhaseGate 提出相位感知 CPU 检索调度,在 M4 系统上四个并发检索 worker 使 LLM 解码 p95 延迟上升 60-61%,预填仅上升 5.7-6.9%。该策略为预填和解码分别设置并发限制(4 和 1),在积压队列下检索吞吐量达到最佳固定策略的 2.0 倍,且 p95 延迟不超过无检索基线的 1.25 倍。该研究已被 NeurIPS 2026 端侧智能研讨会接收。

来源:arXiv · ML · arxiv.org