arXiv · NLP· Shengjie Wang, Mohsen Fayyaz, Nanyun Peng·· 15 天前AI 评分36
路由推理:阅读与重塑 MoE 模型测试时算力
Routes of Reasoning: Reading and Reshaping Test-Time Compute in MoE Models
AI 导读
研究者发现 Mixture-of-Experts (MoE) 路由器能作为无需训练的接口控制推理行为,通过编辑路由器分数可避免模型“过度思考”。 该干预使生成 token 数量中位数减少 30.4%,最高达 63.3%,且准确率下降不超过 0.5 个百分点,甚至常有所提升。 这为优化测试时算力提供了轻量级机制,使模型在解题后及时停止而非跳过必要步骤。
来源:arXiv · NLP · arxiv.org