arXiv · ML· Juyoung Park, Heejun Lee·· 2 天前AI 评分33
BQ-LoRA:作为参数高效微调隐式正则化的二值量化低秩适配器
BQ-LoRA: Binary-Quantized Low-Rank Adapters as Implicit Regularizers for Parameter-Efficient Fine-Tuning
AI 导读
BQ-LoRA 将 QLoRA 的 FP16 适配器替换为单比特二值化,结合每层学习 scale 与 STE,使适配器存储减少 13-16 倍。 在 Qwen2.5(1.5B-72B)上,BQ-LoRA 基准平均分超过 QLoRA 0.8-3.5 分;在 Qwen2.5-7B 上,其 WikiText-2 PPL 仅比 4-bit 基线高 0.06。
来源:arXiv · ML · arxiv.org