arXiv · ML· Yucheng Du, Ryan A. Rossi, Xiyang Hu·· 16 小时前AI 评分20
RouteVerify:Mixture-of-Experts 模型中步骤级验证的路由干预研究
RouteVerify: Routing Interventions for Step-Level Verification in Mixture-of-Experts Models
AI 导读
RouteVerify 通过替换内部激活测试 Mixture-of-Experts 模型的路由状态对步骤验证的影响。 在 9 个 MoE 检查点上,探针显示 router logits 可区分正确与错误步骤(AUROC 0.80-0.88)。 替换 router logits 会改变验证判断,但该变化极少依赖于源步骤的正确性,表明路由可读性高而验证判断独立于正确性。
来源:arXiv · ML · arxiv.org