arXiv · ML· Irene Tenison, Stella Ahn, Miriam Kim, Ebtisam Alshehri, Lalana Kagal·· 8 小时前AI 评分20
LARS 通过序列压缩低秩子空间实现激活高效微调
Activation-Efficient Fine-Tuning via Sequence-Compressed Low-Rank Subspaces
AI 导读
LARS 方法将适配器激活中间值的存储复杂度从 O(BSRL) 降至 O(BRL)，在 S=1024 时比 LoRA 减少 23% GPU 内存占用。 通过池化特征提取和低秩子空间调制实现，在 CPU 上平均单步优化功耗降低 22.43%。 该结果展示了激活高效适配在资源受限及端侧 LLM 微调中的实际路径。
来源：arXiv · ML · arxiv.org