跳到正文
arXiv · ML· Wen Huang, Jack Liu·· 9 天前AI 评分33

SlackTier 通过逐层预取截止时间优化 DeepSeek-V4.1 Engram 查找表内存分配

Placing LLM Lookup Tables by Per-Layer Prefetch Deadlines

AI 导读

SlackTier 利用逐层预取截止时间将 DeepSeek-V4.1 的 Engram 查找表从 DRAM 移至 NVMe 或 RDMA,主机内存从 212 GiB 降至 34 GiB。

来源:arXiv · ML · arxiv.org