跳到正文
arXiv · ML· Lanxin Zhao, Bamdev Mishra, Pratik Jawanpuria, Lequan Lin, Dai Shi, Junbin Gao, Andi Han·· 7 天前AI 评分44

LOFT: 基于任务感知支持选择的低秩正交微调方法

LOFT: Low-Rank Orthogonal Fine-Tuning via Task-Aware Support Selection

AI 导读

LOFT框架通过分离子空间适应与正交变换,将支持选择确立为设计核心,并基于一阶分析提出任务感知支持选择策略。 该方法在语言理解、视觉迁移及数学推理等任务中,于匹配的可训练参数与变换设置下提升性能,证明固定预算下支持选择对正交PEFT性能具有系统性影响。 论文已被NeurIPS 2026接收。

来源:arXiv · ML · arxiv.org