arXiv · ML· Arun Prakash A·· 17 小时前AI 评分35
Learn, Freeze, and Transfer an Activation Function Across Architectures
Learn, Freeze, and Transfer an Activation Function Across Architectures
AI 导读
研究提出“学习-冻结-迁移”协议,验证了将学习到的激活函数独立于权重跨架构迁移的可行性。核心方法是使用基于五参数截断傅里叶级数的FAct激活函数。 FAct由GELU的傅里叶近似初始化,在ViT上训练后冻结。
来源:arXiv · ML · arxiv.org