arXiv · AI· An-Sheng Jhang·· 4 小时前AI 评分20
启发方式与获取形式如何影响 LLM 概率更新:基于 δ-SNLI 的实证研究
Hearsay or Fact? How Framing and Elicitation Shape LLM Probability Updates
AI 导读
研究检验了 LLM 在接收新信息时概率估计的方向性变化,发现陈述式直接获取使 7 种模型配置均朝标注方向移动 18-28 个百分点。 对比报告式获取与 5 次加权估计发现,报告式降低敏感度 2-5 点,5 次估计减少极端值但在本地模型中使敏感度降低 43%-68%。 表明获取格式对极端值的影响不等同于对证据敏感度的保持,两者需独立测试。
来源:arXiv · AI · arxiv.org