arXiv · ML· Seyedarmin Azizi, Erfan Baghaei Potraghloo, Minoo Ahmadi, Souvik Kundu, Massoud Pedram·· 2026-10-05AI 评分31
Power-SMC: 面向免训练 LLM 推理的低延迟序列级幂采样方法
Power-SMC: Low-Latency Sequence-Level Power Sampling for Training-Free LLM Reasoning
AI 导读
研究者提出免训练采样方法 Power-SMC,通过并行维护候选序列并基于重要性权重定期剪枝低分序列,以接近标准解码的延迟近似序列级幂分布,而非依赖 Metropolis-Hastings 采样。 在 MATH500、GSM8K、GPQA 和 HumanEval 等基准上,Power-SMC 的准确率匹配或超过 MH 采样,同时保持输出多样性;该方法可将推理速度最高加速 17.6 倍,代码已开源。
来源:arXiv · ML · arxiv.org