跳到正文
arXiv · ML· Zefeng He, Yunkai Chai, Xiaoyang Chen, Tong Zhu, Zongliang Wu, Yun Luo, Yafu Li, Yu Cheng·· 2026-10-15AI 评分28

LatentLoop:通过非对称计算分配扩展循环 MoE 模型

LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation

AI 导读

summary_zh: 提出 LatentLoop 架构,通过压缩首次循环序列并重新分配计算资源以扩展隐藏层大小,在 1.3B-7B 参数范围内验证性能。 该模型共享 MoE 权重但使用独立注意力参数,在 NLL 1.988 时相比基线节省 19.0% 和 7.9% 计算量,并提升多项 benchmark 得分。

来源:arXiv · ML · arxiv.org