arXiv · ML· Anik Jha·· 3 天前AI 评分39
MoE 推理模型剪枝退化修复:B 方法通过 rank-8 适配器恢复 LiveCodeBench 性能
Reasoning Again with a Quarter of the Experts: Retry First, Then Train
AI 导读
移除 122B 参数 MoE 推理模型 75% 路由专家后,LiveCodeBench 循环问题从 0 增至 44 个。 B 方法通过加载 rank-8 训练适配器恢复每层 2 个专家,在预注册测试中解出 116 题(+9.2 pp),显著优于未修复基线。
来源:arXiv · ML · arxiv.org