arXiv · AI· Tims Pecerskis, Aivars Smirnovs·· 8 小时前AI 评分40
Mixture-of-Models：异构LLM分布式推理作为模型级混合专家
Mixture-of-Models: Distributed Inference over Heterogeneous LLMs as Model-Level Mixture-of-Experts
AI 导读
该研究提出Mixture-of-Models架构，通过分布式推理组合独立训练的异构LLM，将Switch Transformer扩展至语义层。 系统使用N-Way Self-Evaluating Deliberation协议达成联合共识，结合Delphi方法、二次投票及推理时扩展范式。
来源：arXiv · AI · arxiv.org