有限秩瓶颈如何塑造低秩适应景观

该研究提出基于冻结骨干网络引起的有限秩线性映射（即瓶颈秩）来解释 LoRA 为何有效。与传统依赖 NTK 线性化的分析不同，该方法无需线性化，证明迹范数正则化迫使优化器在产生相同观测输出的矩阵中选取低秩矩阵。