arXiv · NLP· Shujin Wu, Heng Ji·· 6 小时前AI 评分35
免费午餐：基于RL的LLM置信度估计无需额外训练
Free Lunch for LLMs Confidence: The RL Critic Already Knows
AI 导读
研究证明，对于使用基于价值的强化学习训练的LLM，现有的critic（评论家）模型可直接作为置信度估计器复用，无需额外训练或数据。 实验表明，复用的critic在数学、代码、工具调用等12个领域的16个测试集上，均为最佳或最佳校准的置信度估计器，且不影响模型任务性能。 该方法为可信LLM部署提供了零成本的解决方案。
来源：arXiv · NLP · arxiv.org