arXiv · NLP· Rajdeep Pandhare, Delzaan Bharucha·· 8 小时前AI 评分27
ScoutRoute：利用内部语言模型信号实现高效的混合专家路由
ScoutRoute: Efficient Mixture-of-Experts Routing Using Internal Language Model Signals
AI 导读
summary_zh: ScoutRoute 提出一种轻量级后处理路由框架，通过单次廉价 Scouter 模型的前向传播预测专家能力，无需修改底层模型。 该框架利用隐藏状态表示和 logits 衍生置信度，结合领域感知策略进行高效专家选择，在 5 个开源模型和 4 个基准数据集上表现优于单一信号，且校准性能更佳。
来源：arXiv · NLP · arxiv.org