arXiv · NLP· Rong Huang, Yi Xiong, Yuan-Yuan Cheng, Xiao-Ming Fu·· 5 小时前AI 评分31
层级低秩重参数化实现参数高效微调
Hierarchical Low-Rank Reparameterization for Parameter-Efficient
AI 导读
summary_zh: 提出层级低秩重参数化方法，通过低秩分解递归压缩 PEFT 可训练参数。 该方法结合 LoRA、DoRA 等方法，在 LLaMA-3.1-8B 等模型上验证，参数压缩约十倍仍保持竞争力。
来源：arXiv · NLP · arxiv.org