跳到正文
arXiv · ML· Ziyun Liu, Fengmiao Bian, Jian-Feng Cai·· 14 天前AI 评分28

FILO: 用于低秩适应的统一 Fisher-几何框架

FILO: A Unified Fisher-Geometric Framework for Low-Rank Adaptation

AI 导读

FILO 框架通过统一 Fisher-几何视角解决 LoRA 优化器中雅可比矩阵秩亏导致的奇异算子反转难题,将现有方法归纳为四个技术流派。 其实现 FILO-Adafactor 采用 Adafactor 对角 Kronecker 预条件器,在因子空间求解的内存复杂度为 O((m+n)r)。

来源:arXiv · ML · arxiv.org