arXiv · ML· Jia Deng, Zizhe Wang, Xin Lu, Yi Huang, Zehao Jia·· 16 小时前AI 评分33
QSelect 如何在行为保真度约束下压缩空间机器人车载语言模型
Compressing Onboard Language Models for Space Robots under a Behavioral-Fidelity Requirement
AI 导读
研究者提出 QSelect 方法，通过组合 AWQ、GPTQ 和 AutoRound 静态低比特检查点，生成单一压缩模型以满足空间机器人的内存预算和静态制品要求。 在 Llama-3.1-8B 和 Llama-3.2-3B 上，3 比特目标适应模式使 3-bit 池化准确率比最佳单家族模型分别提高 4.3 和 4.5 点，且 3 比特下未量化嵌入和输出层占打包制品的 43-46%。
来源：arXiv · ML · arxiv.org