arXiv · ML· Haozhan Tang, Hao Kang, Meng Lu, Yecheng Wu, Zerui Wang, Seokho Han, Haocheng Xi, Shuo Yang, Song Han, Han Cai·· 17 天前AI 评分28
Jet-QSparse:通过 4 位稀疏注意力加速 Agentic LLM 推理
Jet-QSparse: Accelerating Agentic LLM Inference with 4-Bit Sparse Attention
AI 导读
Jet-QSparse 提出一种免训练方法,结合 NVFP4 缓存存储与 Blackwell 张量核心的原生 FP4 计算以加速 Agentic LLM 推理。
来源:arXiv · ML · arxiv.org