arXiv · ML· Jonathan T. Barron, Dan Gnanapragasam, Michael Tschannen·· 6 小时前AI 评分42
Softmax 与交叉熵数值稳定性修正：解决梯度坍缩与抵消问题
A Fix for Softmax and Cross-Entropy
AI 导读
标准 Softmax 与交叉熵实现存在 Softmax Collapse 和 Softmax Cancellation 两个数值缺陷，新算法通过修正 log-softmax 实现彻底解决。
来源：arXiv · ML · arxiv.org