跳到正文
arXiv · ML· Luka Ribar, Jeevan Bhoot, Douglas Orr·· 2026-10-05AI 评分22

Llama-Mobile:视觉语言模型 2.7 比特量化框架

Llama-Mobile: Efficient 2.7-Bit Quantization of VLMs

AI 导读

Llama-Mobile 提出了一个视觉语言模型量化框架,采用 2.7 比特每参数格式以支持 Arm CPU 上的高效推理。 该框架利用模型自身生成训练数据,无需访问原始训练设置。Llama 3.2 11B Vision Instruct 模型被压缩至 3.7 GB,在保持标准视觉问答任务性能的同时实现了内存优化。

来源:arXiv · ML · arxiv.org