跳到正文
arXiv · ML· Yueran Ma·· 2026-10-06AI 评分25

LoRA 二次下降延伸至参数平价之外

LoRA's Second Descent Extends Beyond Parameter Parity

AI 导读

LoRA 在保留参数优势前无法匹配全参数微调风险,仅在 DeiT-Tiny 上达到 4 倍投影权重规模后才实现风险平价。 该结论基于对 4 个视觉骨干和 7B 语言模型的模块匹配秩扫描(MMRS)及标签噪声测试得出。

来源:arXiv · ML · arxiv.org