机器之心·· 5 小时前精选AI 评分73
Google DeepMind 研究揭示 Softmax 和交叉熵的隐藏数值 Bug
PyTorch、JAX都被点名！Softmax曝出隐藏Bug，Gemini立功
AI 导读
Google DeepMind 团队提出主流深度学习框架中 Softmax 和交叉熵存在数值精度 Bug，可能导致梯度计算错误。论文提供了保留原有数学定义的修复方案，在模运算等特定任务中提升了训练稳定性，研究过程有 Gemini 模型参与。
推荐理由
揭示了主流框架中Softmax和交叉熵的隐藏数值Bug，解释了训练异常现象，并给出了低成本修复方案。
来源：机器之心 · mp.weixin.qq.com