跳到正文
arXiv · ML· Sergey Salishev, Anton Makarov, Oleg Granichin, Renata Avros, Zeev Volkovich·· 4 天前AI 评分28

神经网络分类器作为纠错码

Neural Classifiers as Error-Correcting Codes

AI 导读

提出将监督深度分类视为香农意义上纠错码解码的统一框架。交叉熵优化使 softmax 分类器与最大似然解码对齐,logits 映射为到类特定码字的汉明距离。该对应关系解释了 KL 散度等目标的涌现,并将 Neural Collapse 和 LeJEPA 的几何视为等向噪声下解码的最优星座。

来源:arXiv · ML · arxiv.org