跳到正文
arXiv · ML· Zirui Peng, Heyi Zheng, Ziming Liu·· 2026-10-14AI 评分23

重新思考激活函数:减少偏差可改善学习

Rethinking Activation Functions: Reducing Bias Can Improve Learning

AI 导读

研究指出,主流激活函数产生的非零均值偏差会加速初期损失下降,但伴随过冲和不平滑轨迹;降低该偏差虽减缓初期学习,却最终带来更低的损失值。 在较大的视觉和语言模型实验中,较小的激活偏差与更好的后期性能相关联,表明这一特性值得在激活函数设计中明确考虑。

来源:arXiv · ML · arxiv.org