跳到正文
arXiv · ML· Omer Nezih Gerek·· 3 天前AI 评分20

交叉熵损失在最终层的锥形结构及其在整流器骨干中缺失

Conic Structure of the Cross-Entropy Loss at the Final Layer and Its Absence in Rectifier Backbones

AI 导读

研究发现,分类器仿射最终层的 softmax 交叉熵损失等于多面体锥加单调递减指数偏移,核心半径由类平均惊讶度与壁斜率决定。 在整流器骨干中,损失沿直线在激活模式变化处出现拐点,利用半代数集维度理论证明几乎所有直线上共切换样本共享不可约因子,避免形成显著脊线。 基于 CIFAR-10 训练的 ResNet-18 与 ResNet-56 测量验证了上述结果,并界定了采样损失值可能隐藏的脊线尺寸。

来源:arXiv · ML · arxiv.org