arXiv · ML· Erfan Baghaei Potraghloo, Milad Heidari Sorkhehdizaj, Shahab Rahimirad, Aliasghar Pourghani, Seyedarmin Azizi, Souvik Kundu, Abolfazl Hashemi, Joseph Campbell, Vijay Gupta·· 9 天前AI 评分25
SMC解码实现零成本序列级Rényi熵以优化自适应LLM推理
Free Lunch Uncertainty: Sequence-Level R\'enyi Entropy from Particle Decoding for Adaptive LLM Reasoning
AI 导读
研究人员利用SMC解码在零边际成本下估计序列级Rényi熵(SRE),作为无成本选择性预测信号。 一阶SRE在13个场景中的10个场景优于对数概率,MATH500测试集AUROC提升0.022至0.044。 八粒子探针结合二次策略,在MATH500上减少34.2%粒子开销的同时保持六十四粒子精度。
来源:arXiv · ML · arxiv.org