arXiv · NLP· Sebastian Loeschcke, Ivan Koryakovskiy, Tycho F. A. van der Ouderaa, Riccardo Del Chiaro, Mart van Baalen, Paul N. Whatmough, Markus Nagel·· 4 小时前AI 评分20
SQuAT: 球面格向量量化感知训练
SQuAT: Spherical Lattice Vector Quantization-Aware Training
AI 导读
提出 SQuAT，将格向量量化感知训练扩展至十亿参数 LLM 及万亿级 token 训练。 采用基于 $E_8$ 的球形码本量化方向，独立低比特量化增益，利用隐式球面优化提升精度。 通过分布式精确最近邻分配，将 VQ-QAT 训练时间缩短 12.8 倍，支持扩展至 100 亿 token。
来源：arXiv · NLP · arxiv.org