arXiv · AI· Tianqi Chen, Xunchao Li, Linchuan Xie, Guanghua Yu, Jianchen Zhu, Peisong Wang, Jian Cheng·· 5 小时前AI 评分27
GateRQ 实现 DeepSeek-V4.1-Flash 量化条件内存的按需精度加载
Let the Gate Decide: Per-Lookup Precision for Quantized Conditional Memory in LLMs
AI 导读
针对量化条件内存中基于访问频率优化反而变差的问题，GateRQ 利用门控信号决定检索精度，无需重训即可运行。 在 DeepSeek-V4.1-Flash 上，GateRQ 使 GPU 表内存减少 7.8 倍，vLLM 吞吐量提升 11%-31%，且 PopQA 分数仅损失 1 点。
来源：arXiv · AI · arxiv.org