跳到正文
热点事件持续更新

研究提出可跨架构迁移的激活函数 FAct

1 篇报道1 个报道来源16 小时前更新

先了解这件事

AI 综述

arXiv 新发布论文《Learn, Freeze, and Transfer an Activation Function Across Architectures》,由 Arun Prakash A 等提出“学习-冻结-迁移”协议,验证了将学习到的激活函数独立于权重、跨架构迁移的可行性。该方法采用基于五参数截断傅里叶级数构造的 FAct 激活函数,以 GELU 的傅里叶近似初始化,并在 ViT 上完成训练后冻结。

AI 根据报道生成 · 13 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv · ML
    Learn, Freeze, and Transfer an Activation Function Across Architectures

    研究提出“学习-冻结-迁移”协议,验证了将学习到的激活函数独立于权重跨架构迁移的可行性。核心方法是使用基于五参数截断傅里叶级数的FAct激活函数。 FAct由GELU的傅里叶近似初始化,在ViT上训练后冻结。

本事件热度走势

可比范围当前
6
可比范围峰值
911月20日 16:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。