研究提出可跨架构迁移的激活函数 FAct
热点事件持续更新
研究提出可跨架构迁移的激活函数 FAct
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
arXiv 新发布论文《Learn, Freeze, and Transfer an Activation Function Across Architectures》,由 Arun Prakash A 等提出“学习-冻结-迁移”协议,验证了将学习到的激活函数独立于权重、跨架构迁移的可行性。该方法采用基于五参数截断傅里叶级数构造的 FAct 激活函数,以 GELU 的傅里叶近似初始化,并在 ViT 上完成训练后冻结。
AI 根据报道生成 · 13 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv · MLLearn, Freeze, and Transfer an Activation Function Across Architectures
研究提出“学习-冻结-迁移”协议,验证了将学习到的激活函数独立于权重跨架构迁移的可行性。核心方法是使用基于五参数截断傅里叶级数的FAct激活函数。 FAct由GELU的傅里叶近似初始化,在ViT上训练后冻结。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 911月20日 16:00
- 近 24 小时变化
- –
02.557.510
18:0021:0011月21日03:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。