arXiv · ML· Haoyun Jiang, Junqi He, Feng Hong, Xinlong Yang, Jianwei Zhang, Zhengyang Zhuge, Zheng Li, Xiaofeng Cao, Zhiyong Chen, Bo Han, Junyang Lin, Jiangchao Yao·· 10 天前AI 评分23
TriSpec 通过轻量级代理验证实现三值推测解码,加速 LLM 推理
TriSpec: Ternary Speculative Decoding via Lightweight Proxy Verification
AI 导读
TriSpec 提出三值推测解码框架,利用轻量级代理替代全模型验证以降低成本。 该框架可集成 EAGLE-3,相比标准 SD 最高实现 35% 加速,减少 50% 目标模型调用。 论文已被 NeurIPS 2026 接受。
来源:arXiv · ML · arxiv.org