arXiv · ML· Seokhun Park, Choeun Kim, Kwanho Lee, Sehyun Park, Insung Kong, Yongdai Kim·· 16 小时前AI 评分25
HTAF激活函数实现稳定二元表征学习
A Composite Activation Function for Learning Stable Binary Representations
AI 导读
提出Heavy Tailed Activation Function（HTAF），作为Heaviside函数的平滑近似，解决其不可导导致的优化难题。 HTAF通过sigmoid与双曲正切复合构建，在零输入附近保持较大梯度质量，且在尾部区域梯度衰减更慢，支持Spiking Neural Networks和Binary Neural Networks的稳定训练。
来源：arXiv · ML · arxiv.org