跳到正文
arXiv · NLP· Phuong Q. Le, Kemal Kurniawan, Jey Han Lau·· 10 天前AI 评分28

利用扰动强度增强 LLM 解释自我一致性评估

Enhancing Assessment of Self-Consistency in LLM Explanations using Perturbation Strength

AI 导读

提出一种 LLM-as-a-judge 方法,统一测量输入和 CoT 扰动强度,以公平评估 LLM 解释的自我一致性。 实验表明该 LLM 基测量方法优于嵌入和概率基方法,且输入扰动通常比 CoT 扰动影响更强。 研究建议在相同扰动类型内判断模型自我一致性,该工作已被 ALTA 2026 接收。

来源:arXiv · NLP · arxiv.org