跳到正文
arXiv · NLP· Giulianno Vollmer·· 5 小时前AI 评分38

Metis-1.6 技术报告:混合 Mamba-2 与注意力 MoE 架构实现高效训练

Think Twice: The Metis-1.6 Technical Report

AI 导读

summary_zh: Metis-1.6 包含 Praxis(2.94B 参数)和 Logos(10.23B 参数)两个模型,均采用混合 Mamba-2 与注意力 MoE 架构,每 token 推理两次。

来源:arXiv · NLP · arxiv.org