低秩适配 LoRA 的奇异几何

LoRA 的非可识别性使其成为奇异统计模型，其学习复杂度无法仅由参数量描述。 研究利用实对数正则化阈值，证明前向-反向协方差决定低秩扰动是否统计可观测。 在感知机和 Transformer 实验中，环境协方差退化不意味着相关低秩方向退化。