SDS-LoRA解决LoRA梯度各向异性缩放

针对低秩适应（LoRA）方法中由奇异值驱动的各向异性梯度缩放失真问题，Junghun Oh等研究者提出SDS-LoRA参数化方法。 该方法通过结构性解耦奇异值，确保全量微调的梯度仅通过正交基进行反向传播，从而克服原有缺陷。 理论分析显示，SDS-LoRA的收敛率不再依赖低秩矩阵的条件数。在自然语言及视觉基准测试中，该方法改善了损失收敛并缩小了与全量微调的性能差距。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。