arXiv · ML· Benhao Huang, Chufan Shi, Junlin Chen, Shicheng Wen, Zhengzhong Liu, Eric Xing, Xuezhe Ma·· 16 小时前AI 评分37
Huginn 循环模型在 MoE 架构中全面优于 Ouro
Towards Looped Models Done Right, Part I: Topology, Input Injection, Recurrent-State Design
AI 导读
Huginn 循环模型在 730M 参数、336B token 规模下，于 10 项基准测试中全面超越 Ouro 模型。 该架构优势延伸至 MoE 模型：在 8BA0.8B 规模、500B token 训练下，Huginn 在知识、推理和编码基准中近乎全胜，且专家路由更均衡。
来源：arXiv · ML · arxiv.org