arXiv · ML· Yueran Ma·· 2026-10-06AI 评分25
LoRA 二次下降延伸至参数平价之外
LoRA's Second Descent Extends Beyond Parameter Parity
AI 导读
LoRA 在保留参数优势前无法匹配全参数微调风险,仅在 DeiT-Tiny 上达到 4 倍投影权重规模后才实现风险平价。 该结论基于对 4 个视觉骨干和 7B 语言模型的模块匹配秩扫描(MMRS)及标签噪声测试得出。
来源:arXiv · ML · arxiv.org