arXiv · NLP· Zihuiwen Ye, Lukas Aichberger, Michael Kirchhof, Sinead Williamson, Luca Zappella, Yarin Gal, Arno Blaas, Adam Golinski·· 8 小时前AI 评分28
LLM 函数调用中的不确定性量化评估
Uncertainty Quantification for LLM Function-Calling
AI 导读
研究首次评估了大语言模型（LLM）函数调用（FC）场景下的不确定性量化（UQ）方法。结果显示，在 FC 任务中，基于熵的多样本 UQ 方法相比简单单样本方法无明显优势。 多样本方法通过抽象语法树聚类 FC 输出可提升性能，而单样本方法限制基于 logit 的分数至语义有意义 token 后，校准能力改善但区分能力基本不变。
来源：arXiv · NLP · arxiv.org