arXiv · NLP· Markus Frey, Behzad Shomali, Joachim Koehler, Mehdi Ali·· 8 小时前AI 评分23
双路径架构：分离 LLM 计算与容量扩展轴的研究
A Dual-Path Architecture for Scaling Compute and Capacity in LLMs
AI 导读
双路径架构通过并行路径分离 LLM 计算与容量扩展，在两个 FLOP 预算下优于单轴对照模型，参数少 17-33%。 架构包含共享参数的深度子层与单次应用的宽子层，结合独立门控；门控显示功能词倾向宽路径，符号倾向深路径。 结果表明计算与容量可独立扩展，模型能按 token 平衡二者。
来源：arXiv · NLP · arxiv.org