跳到正文
36氪·· 13 小时前精选AI 评分87

Google DeepMind披露Softmax与交叉熵底层Bug,AI模型协助修复

AI教科书全错,底层公式惊天Bug曝光,Gemini率先自我修复

AI 导读

Google DeepMind团队发布arXiv论文,揭示PyTorch、JAX及教科书中的Softmax与交叉熵实现存在浮点舍入Bug,会导致梯度消失和训练不稳定。论文提出简单重写即可修复,并测试显示修复后模加法任务准确率从93.3%提升至100.0%。该Bug最初由Gemini模型发现并修复,人类研究者负责复核与排版。

推荐理由

揭示了Softmax和交叉熵在低精度下的舍入Bug,并说明AI模型如何协助修复该底层漏洞。

来源:36氪 · 36kr.com