arXiv · NLP· Xiyue Zhang, Keru Zhou, Ziyi Wang, Bing Hu, Li Wang·· 4 小时前AI 评分25
TempoMoE: 通过快慢思考专家路由调控实现多模态推理效率优化
TempoMoE: Identifying and Steering Fast-Slow Thinking Experts for Efficient Multimodal Reasoning
AI 导读
TempoMoE 提出免训练两阶段框架,通过快慢思考专家路由调控实现难度自适应推理深度控制。 在 Kimi-VL、Qwen3-VL 和 ERNIE-4.5-VL 上评测,TempoMoE 相比 Vanilla 基线准确率提升最高 2.6 个点,输出 token 减少最高 35.4%。 该方法通过抑制快慢专家改变 CoT 长度,在降低 token 成本与延迟的同时提升多模态任务准确率。
来源:arXiv · NLP · arxiv.org