arXiv · ML· Ruicheng Ao, Jing Dong, Gan Luo, David Simchi-Levi·· 10 小时前AI 评分32
内存受限 LLM 推理服务中的服务诱发拥堵：动态模型与调度原则
Service-Induced Congestion in Memory-Constrained LLM Serving
AI 导读
研究构建内存受限 LLM 推理的离散时间动态模型，揭示高并发下服务过程内生导致内存压力，引发驱逐重启，吞吐损失可达 50%。 模型证明在饱和输入下，无驱逐平衡点不稳定，系统趋向唯一最坏情况极限环；异构工作负载可通过异步入参与互素解码长度稳定系统。 这些结果识别出“服务诱发拥堵”作为结构性失稳机制，为维持高吞吐提供了调度设计原则。
来源：arXiv · ML · arxiv.org