NR-SAE利用MoE路由器构建稀疏字典
热点事件持续更新
NR-SAE利用MoE路由器构建稀疏字典
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
NR-SAE方法通过为每个路由专家分配小型字典，并仅开启冻结路由器选中的字典来实现稀疏化。 研究基于Gemma 4 26B-A4B模型第15层进行验证，NR-SAE解释了0.518的方差。 作为对比，排名控制组解释方差为0.481，架构控制组为0.387。 目前研究尚未对语义可解释性进行测试，仅展示了其在方差解释上的性能表现。
AI 根据报道生成 · 2 小时前更新
最新进展10月21日 12:00
The Router Already Knows：基于 Gemma 4 路由的 NR-SAE 稀疏字典解释力研究报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- arXiv · AIThe Router Already Knows：基于 Gemma 4 路由的 NR-SAE 稀疏字典解释力研究
在 Gemma 4 26B-A4B 第 15 层，NR-SAE 解释 0.518 的方差。 排名控制组 0.481，架构控制组 0.387。 语义可解释性未测试。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。