arXiv · ML· Hongwei Ren, Jincheng Ren, Yuchuan Zhou, Jingchun Ling·· 7 小时前AI 评分28
GateTrim：面向大语言模型的自适应秩量化方法
GateTrim: Adaptive-Rank Quantization for Large Language Models
AI 导读
研究提出GateTrim，一种通过门控优化学习矩阵特定秩的自适应秩后训练量化方法。 在W4A8精度下，对Qwen3和Llama系列模型测试发现，将阈值从0.3提高至0.7使平均保留秩降低46.60%--67.89%，同时WikiText-2困惑度降低0.59%--5.17%。
来源：arXiv · ML · arxiv.org