arXiv · AI· Jonas Knupp, Jan Hendrik Metzen, Jeremias Bohn, Georg Groh, Kristian Kersting·· 23 小时前AI 评分36
Dreamer：深度循环注意力混合框架通过跨深度注意力实现潜在推理
Depth-Recurrent Attention Mixture (Dreamer): Giving Latent Reasoning the Attention it Deserves
AI 导读
研究人员提出Dreamer框架，结合序列、深度及稀疏专家注意力，解决深度循环模型在恒定隐藏尺寸下的潜在推理瓶颈。 该模型在语言推理基准测试中，相比同等FLOP、参数和内存配置的SOTA模型，训练所需token减少2至8倍，性能超过2倍规模模型，且专家选择多样性高出2至11倍。
来源：arXiv · AI · arxiv.org