跳到正文
arXiv · ML· Yudong Zhang, Wei Ding, Kaili Zheng, Yuchen Ding, Zhenyu Zhang·· 5 小时前AI 评分39

Accordion:基于固定前缀层循环的弹性深度推理模型

Accordion: Elastic-Depth Inference via Fixed-Prefix Layer Looping

AI 导读

Accordion-6B-A0.5B 通过固定前缀层循环支持五种推理预算,并在 37 项任务的宏观平均值上提升 3.01 个百分点。 模型经历 3.6T tokens 预训练,结合参数组合并与多教师蒸馏整合三个领域专家。 最终模型在对应任务与预算平均值上超越各原领域专家,且保持指令遵循能力。

来源:arXiv · ML · arxiv.org