arXiv · ML· Xueqi Cheng, Liang Wu, Kelly Wan, Liangjie Hong, Yushun Dong·· 2026-10-05AI 评分22
LLM 压缩能力缩放规律研究
Capability Scaling-Down Laws for LLM Compression
AI 导读
针对 LLM 压缩中方法选择依赖经验的问题,研究提出了一套能力缩放规律框架,系统性评估了剪枝、量化和蒸馏在数学、代码及问答任务上的能力损失。在 Pythia 和 OLMo-2 模型上,通过共享密度响应,该框架将拟合剪枝预测器所需的配置测量次数减半,误差控制在 0.020 nats 以内。跨两个模型族的独立评估表明,基于该规律的数值选择策略能有效捕获问答任务中大部分跨方法性能收益。
来源:arXiv · ML · arxiv.org