arXiv · ML· Ruhai Lin, Yiyang Guo, Rui-Jie Zhu, Hao Ye, Jason K. Eshraghian·· 7 天前AI 评分21
Looped Language Models 中循环计算分配的 MixerLoop 架构
Allocating Recurrent Compute in Looped Language Models
AI 导读
MixerLoop 在 15M 参数规模下的 CORE 综合得分超过 FullLoop,证明无需重复执行 Dense FFN 即可保留循环深度收益。 该架构通过循环 Gated DeltaNet mixer 并单次应用 Dense FFN,在 110M 参数下保留 41.5% 的 CORE 提升,同时减少 45.9% 的循环主干投影 FLOPs。
来源:arXiv · ML · arxiv.org