跳到正文
arXiv · AI· Alexander Kastius·· 11 天前AI 评分35

AlterNet:具备自适应深度和弹性推理的混合专家模型

AlterNet: Adaptive-Depth Mixture-of-Experts with Learned Halting for Elastic Inference

AI 导读

论文提出名为AlterNet的新型LLM架构,结合混合专家层、浅层专家和动态深度系统,使模型前向传播的计算量可按任务自动调整,无需重新训练即可在运行环境中降低推理开销。 该设计包含专家内部的循环计算机制、序列级基于深度的路由、halt 机制、深度编码以跟踪计算进度,以及激励模型高效使用分配算力的正则化机制。 论文给出了初步的benchmark结果,并讨论未来研究方向。

来源:arXiv · AI · arxiv.org