跳到正文
热点事件持续更新

RSAE 论文 v3 修订理论与算法并强化实验

1 篇报道1 个报道来源13 小时前更新

先了解这件事

AI 综述

Naiyu Yin 等人此前发布了 Rational Sparse Autoencoder (RSAE) 论文 v1 及 v2 版本,其中 v2 新增 Maosen Tang 和 Alex Townsend 为合著者。 2026 年 11 月 19 日,团队发布 RSAE 论文 v3 修订版,主要在 Section 3 及附录 A 补充了新的理论分析,并在 Section 4 及附录 B.1 修订了算法。 该版本在 Section 5 及附录 B 中强化了实验内容。RSAE 将固定编码器激活替换为可训练有理函数,在匹配预期稀疏度下证明对 ReLU 等机制具有重构优势,并在三个开源权重语言模型上验证了其提升重构保真度的能力。

AI 根据报道生成 · 11 小时前更新

最新进展11月19日 13:00
Rational Sparse Autoencoder

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. arXiv · ML
    Rational Sparse Autoencoder

    Rational Sparse Autoencoder (RSAE) 将固定编码器激活替换为可训练有理函数,在匹配预期稀疏度下证明对 ReLU 及 JumpReLU/TopK 具有重构优势。 在三个开源权重语言模型上验证,RSAE 在同稀疏度下提升重构保真度,仅增加 20 个标量参数。 单次训练耗时 4 至 25 分钟,在单张消费级 GPU 上完成。

本事件热度走势

可比范围当前
7
可比范围峰值
911月19日 15:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。