跳到正文
arXiv · ML· Dmitrii Andriianov, Andrey Veprikov, Aleksandr Beznosikov·· 2026-10-09AI 评分29

谱权重衰减:在神经网络权重中诱导低秩结构

Spectral Weight Decay: Inducing Low-Rank Structure in Neural Network Weights

AI 导读

研究者提出谱权重衰减方法,通过在LLaMA模型中应用核范数更新来降低有效秩。在500M参数模型及4%失真预算下,该方法实现1.89倍压缩和1.18倍GPU推理加速。在60%标签噪声固定训练下,方法在MNIST上提升17.8个准确点位。

来源:arXiv · ML · arxiv.org