跳到正文
arXiv · ML· Anik Jha·· 3 天前AI 评分39

MoE 推理模型剪枝退化修复:B 方法通过 rank-8 适配器恢复 LiveCodeBench 性能

Reasoning Again with a Quarter of the Experts: Retry First, Then Train

AI 导读

移除 122B 参数 MoE 推理模型 75% 路由专家后,LiveCodeBench 循环问题从 0 增至 44 个。 B 方法通过加载 rank-8 训练适配器恢复每层 2 个专家,在预注册测试中解出 116 题(+9.2 pp),显著优于未修复基线。

来源:arXiv · ML · arxiv.org