arXiv · AI· Sihao Wang, Bozheng Li, Xuemiao Xu, Haoxin Yang, Yujie Xu, Jie Tang·· 13 小时前AI 评分20
LIRA：一种更具可解释性的动态损失引导秩分配方法，用于低秩适应（LoRA）
LIRA: A More Interpretable Dynamic Loss-Informed Rank Allocation for Low-Rank Adaptation
AI 导读
LIRA提出基于二阶近似损失的动态秩分配方法，使LoRA在线秩重分配更具可解释性。 其通过定期应用DELTA位移评估算法生成离散有效秩，兼容标准(A,B)适配器。在RoBERTa-base GLUE任务中，LIRA性能优于固定秩和自适应秩基线，且Trajectory EMA在更低估计成本下达到与Fixed-point Fisher相当的精度。
来源：arXiv · AI · arxiv.org