跳到正文
arXiv · ML· Yangming Zhang, Ling Yi, Datong Li, Jinliang Ding, Xiaojie Wang, Tiecheng Song, Zhaolong Ning·· 2026-10-14AI 评分31

DT-LoRA:突破低秩适配切空间限制

DT-LoRA: Reaching Beyond the Tangent Space of Low-Rank Adaptation

AI 导读

提出动态切空间 LoRA(DT-LoRA),通过稳定分支和动态分支分配固定秩预算,捕获 LoRA 变体中未被利用的残差梯度方向。 方法基于正交补和秩约束下的局部二次模型最优更新,采用无矩阵随机化 SVD 避免显式构建残差梯度,实现训练稳定。

来源:arXiv · ML · arxiv.org