arXiv · AI· Ning Zhang, Shihao Wang, Jinrui Zhang, Chaodong Xiao, Lei Zhang·· 4 小时前AI 评分41
BitMTP：多令牌预测与超低比特大语言模型的结合
BitMTP: When Multi-Token Prediction Meets Low-Bit Large Language Models
AI 导读
研究提出BitMTP框架，结合超低比特骨干网与多令牌预测，在保持质量前提下实现加速。 在NVIDIA H20上，混合解码使BitNet b1.58-2B平均加速2.2倍；在RTX 3090和Jetson Orin上分别实现2.0倍和3.3倍加速。 该成果已被NeurIPS 2026接收，源码已公开。
来源：arXiv · AI · arxiv.org