跳到正文
arXiv · ML· Nischal Subedi, Cencheng Shen, Peng Zhao·· 13 小时前AI 评分28

PivotLoRA:LoRA 初始化子空间方向对少样本适应重要性的机制分析

When Does Subspace Direction Matter for LoRA? Regime Analysis of the Magnitude Principle in Few-Shot Adaptation

AI 导读

summary_zh: PivotLoRA 证明 LoRA 适配器初始输入子空间方向的重要性取决于机制,并在 13 种方法中取得少样本 BERT-base 分类最佳平均排名。

来源:arXiv · ML · arxiv.org