arXiv · AI· Hung-Chun Lin, Ting-Wei Hsu, Chung-En Ho, Ahmed Saeed·· 4 小时前AI 评分25
ARK：分布式 LLM 推理中避免 KV Cache 传输路由冲突的机制
ARK: Avoiding Routing Collisions for KV Cache Transfer in Disaggregated LLM Inference
AI 导读
研究提出分布式大象流路径预留机制 ARK，通过协调发送端源端口哈希将并发流映射至不同 Spine，避免无状态 ECMP 哈希碰撞导致的带宽利用不均。 在中等负载下的 RDMA 模拟显示，该机制使平均和 P95 流完成时间（FCT）分别降低最多 27.3% 和 34.0%，平均首 Token 时间（TTFT）降低最多 12.9%。 该工作发表于 SIGCOMM 2026 会议。
来源：arXiv · AI · arxiv.org