跳到正文
arXiv · NLP· Guang Yang, Changhao Guan, Chao Huang, Yufeng Chen, Kaiyu Huang·· 2026-10-06AI 评分23

U-LoRA:通过条件门控实现低秩自适应的自适应利用

Adaptive Utilization of Low-Rank Adaptation via Conditioned Gating

AI 导读

U-LoRA 采用条件门控学习 token 级低秩自适应子空间利用率,在数学推理和自然语言理解基准上达到与强 LoRA 基线及近期变体相当的竞争力,且参数量级相当。 该方法利用序列级上下文信息协同约束利用率系数,并引入偏差校正的指数移动平均(EMA)历史先验以校准跨优化步的利用率信号,抑制批次间波动带来的噪声。 其性能提升源于通过输入条件策略更好地利用现有低秩子空间,而非扩展子空间维度。

来源:arXiv · NLP · arxiv.org