跳到正文
arXiv · AI· Bhushit Nema, Siddharth Krishnamurthy, Anjali Kadiyala·· 17 天前AI 评分35

小型语言模型压缩技术交互的因子消融研究

Compression Technique Interactions in Small Language Models: A Factorial Ablation Study

AI 导读

该研究通过72种压缩配置评估了量化、剪枝与恢复技术在2.7B-7B参数模型上的交互影响。INT8量化在内存减少40-45%的情况下几乎无损,而NF4量化结合L1幅度剪枝导致模型崩溃。LoRA微调可将剪枝后的困惑度降低高达97%。

来源:arXiv · AI · arxiv.org