如何切割 AI 模型以支持边缘设备部署

研究者提出亚层切片方案，目标让 500 MB 至 1 GB 内存的设备参与 AI 模型推理。该方案基于 MoE 架构的专家级分片与 MLA 技术的 KV 缓存压缩，通过稀疏计算降低通信开销。目前仍处于架构设计阶段，实际部署需进一步基准测试验证可行性。