跳到正文
热点事件持续更新

双路径LLM架构分离计算与容量

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

Markus Frey等人发布了题为《A Dual-Path Architecture for Scaling Compute and Capacity in LLMs》的论文。该研究提出双路径架构，通过并行路径分离LLM的计算扩展与容量扩展轴。 架构设计包含共享参数的深度子层与单次应用的宽子层，并引入独立门控机制。测试结果显示，在两个FLOP预算下，该架构优于单轴对照模型，且参数数量减少17%至33%。 门控分析表明，模型能按token动态平衡计算与容量，其中功能词倾向使用宽路径，而符号倾向使用深路径。这一结果证明计算与容量可独立扩展。

AI 根据报道生成 · 7 小时前更新

最新进展11月5日 13:00
双路径架构：分离 LLM 计算与容量扩展轴的研究

报道时间线

沿着报道，了解事件的不同侧面。

11月5日
  1. arXiv · NLP
    双路径架构：分离 LLM 计算与容量扩展轴的研究

    双路径架构通过并行路径分离 LLM 计算与容量扩展，在两个 FLOP 预算下优于单轴对照模型，参数少 17-33%。 架构包含共享参数的深度子层与单次应用的宽子层，结合独立门控；门控显示功能词倾向宽路径，符号倾向深路径。 结果表明计算与容量可独立扩展，模型能按 token 平衡二者。

本事件热度走势

可比范围当前
8
可比范围峰值
1011月5日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。