机器之心·· 2026-10-16AI 评分51
KTransformers-FineTune 提出 CPU-GPU 协同计算范式,提升 MoE 模型微调效率
别再让计算等着搬权重了!KTransformers让CPU直接参与MoE微调计算
AI 导读
KTransformers-FineTune(KT-FT)提出 CPU/GPU 协同计算范式,让 CPU 直接执行 MoE 专家计算,避免权重搬运瓶颈。在 DeepSeek-V3.1-671B 等模型上,其 LoRA 微调吞吐达到传统卸载基线的 2.5–21.2 倍。该方案已集成至 LlamaFactory,支持使用单卡 RTX 4090 微调 397B 参数模型,降低企业适配与科研实验成本。
来源:机器之心 · mp.weixin.qq.com