跳到正文
arXiv · ML· Haozhan Tang, Hao Kang, Meng Lu, Yecheng Wu, Zerui Wang, Seokho Han, Haocheng Xi, Shuo Yang, Song Han, Han Cai·· 17 天前AI 评分28

Jet-QSparse:通过 4 位稀疏注意力加速 Agentic LLM 推理

Jet-QSparse: Accelerating Agentic LLM Inference with 4-Bit Sparse Attention

AI 导读

Jet-QSparse 提出一种免训练方法,结合 NVFP4 缓存存储与 Blackwell 张量核心的原生 FP4 计算以加速 Agentic LLM 推理。

来源:arXiv · ML · arxiv.org