arXiv · ML· Junghun Oh, Sungyong Baik, Kyoung Mu Lee·· 7 小时前AI 评分20
SDS-LoRA：克服低秩适应中的各向异性梯度缩放问题
SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation
AI 导读
研究提出SDS-LoRA新参数化方法，通过结构性解耦奇异值，使全量微调梯度仅通过正交基反向传播，解决LoRA中由奇异值驱动的各向异性缩放失真问题。 理论分析表明SDS-LoRA的收敛率不依赖低秩矩阵的条件数，在自然语言和视觉基准测试中，该方法改善了损失收敛并缩小了与全量微调的差距。
来源：arXiv · ML · arxiv.org