arXiv · NLP· Zhiyuan Wang·· 8 小时前AI 评分39
缩短预填充专家数量如何损害 MoE 模型：少量提示词承载大部分短答案 F1 损失
Where Prefill Expert Reduction Hurts MoE Models: A Few Prompt Tokens Carry Most of the Short-Answer F1 Loss
AI 导读
在预填充阶段减少 50% 路由专家后，Qwen3-30B-A3B 和 DeepSeek-V2-Lite 的短答案 F1 损失主要源于答案形式的改变，即模型不再简洁作答。
来源：arXiv · NLP · arxiv.org