跳到正文
热点事件持续更新

研究发布混合宽专家网络

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

arXiv发布的最新研究表明,Tavish Mankash等人提出了混合宽专家(MoWE)稀疏前馈层,并开放了相关代码与模型。 该架构通过固定不相交输出坐标实现可解释的原生坐标读取。在已知隐藏因子的受控任务中,该设计在保持预测性能的同时,比密集模型和标准混合专家模型更清晰地定位原因。实验共训练了两个各19层的运行架构,规模达到100亿token。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. arXiv · ML
    Mixture of Wide Experts:用于可解释原生坐标的稀疏路由

    研究提出 Mixture of Wide Experts (MoWE) 稀疏前馈层,通过固定不相交输出坐标实现可解释的原生坐标读取,在已知隐藏因子的受控任务中比密集和标准 MoE 模型更清晰定位原因。

本事件热度走势

可比范围当前
9
可比范围峰值
911月4日 15:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。