arXiv · AI· Alexander Kastius·· 11 天前AI 评分35
AlterNet:具备自适应深度和弹性推理的混合专家模型
AlterNet: Adaptive-Depth Mixture-of-Experts with Learned Halting for Elastic Inference
AI 导读
论文提出名为AlterNet的新型LLM架构,结合混合专家层、浅层专家和动态深度系统,使模型前向传播的计算量可按任务自动调整,无需重新训练即可在运行环境中降低推理开销。 该设计包含专家内部的循环计算机制、序列级基于深度的路由、halt 机制、深度编码以跟踪计算进度,以及激励模型高效使用分配算力的正则化机制。 论文给出了初步的benchmark结果,并讨论未来研究方向。
来源:arXiv · AI · arxiv.org