arXiv · AI· Erfan Baghaei Potraghloo, Saeid Shokoufa, Seyedarmin Azizi, Arya Fayyazi, Souvik Kundu, Mehdi Kamal, Massoud Pedram·· 8 小时前AI 评分28
SafeStart 缓解 MoE LLM 服务中主动专家减少带来的安全成本
SafeStart: Mitigating the Overlooked Safety Cost of Active Expert Reduction in MoE LLM Serving
AI 导读
在 vLLM 上针对 Qwen1.5-MoE 等模型测试显示，MoE 服务中减少专家数量会使有害请求响应率最高上升 18.4 个百分点。 SafeStart 通过融合内核在提示词及前 8 个生成 token 阶段运行所有专家，后续使用减少后的专家集。 该方法在保留至少 85% 离线解码加速的同时，将越狱场景下的有害响应率变化控制在 -2.1 到 +1.3 个百分点之间。
来源：arXiv · AI · arxiv.org