arXiv · ML· Jiacheng Liu, Yaxin Luo, Xiaohan Zhao, Peng Sun, Xinyi Shang, Jiacheng Cui, Yonina C. Eldar, Zhiqiang Shen·· 4 小时前AI 评分36
OPTIC 跨层潜在向量量化方法实现 Gemma 4 E4B 嵌入的极致压缩
Extreme Compression of Per-Layer Embeddings via Cross-Layer Latent Vector Quantization
AI 导读
OPTIC 方法在 Gemma 4 E4B 模型中实现了约 100 倍的 Per-Layer Embeddings 压缩，保留 97.8% 的基准性能。 该方法将压缩后的模型运行时 GPU 内存减少 29.7%，推理速度最多仅下降 0.40%。
来源：arXiv · ML · arxiv.org