跳到正文
arXiv · ML· Niclas G\"oring, Shuofeng Zhang, Roi Holtzman, Yoonsoo Nam, Ard A. Louis·· 8 小时前AI 评分29

深度学习网络的符号编码:隐藏的二进制本质

The Sign Code: The Hidden Binary Nature of Deep Networks

AI 导读

研究发现过参数化视觉分类器主要依赖神经元符号而非幅值进行分类。仅基于二元符号编码的 K 近邻分类器,精度即可与完整模型相当。 该发现跨架构、激活函数和数据集普遍成立。若翻转 20% 符号,准确率将降至随机水平,证实符号对性能的决定性影响。 这表明离散符号编码可能是比连续权重空间更合适的分析单元,为理解网络泛化机制提供了新视角。

来源:arXiv · ML · arxiv.org