Accordion弹性深度推理模型发布

研究人员Yudong Zhang等发布Accordion模型。该模型基于固定前缀层循环技术，支持五种推理预算。模型经历3.6T tokens预训练，结合参数组合与多教师蒸馏整合三个领域专家。 Accordion在37项任务的宏观平均值上实现3.01个百分点的性能提升。其最终模型在对应任务与预算平均值上超越各原领域专家。模型在增强推理能力的同时，保持了指令遵循能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。