跳到正文
arXiv · NLP· Tiasa Singha Roy, Manya Wadhwa, Greg Durrett·· 4 小时前AI 评分36

研究 LLM 智能体中“主张平滑”量化方法

Quantifying Claim Smoothing by LLM Research Agents

AI 导读

研究揭示 LLM 智能体生成的长篇报告存在“主张平滑”现象,即模型将多样且冲突的来源合并为单一叙事,得出比引用证据更决断的结论。团队提出名为 SmoothScore 的评分流水线,用于量化此效应。在7个系统和4个数据集上验证发现,智能体一致地提出了超出合理范围的主张。

来源:arXiv · NLP · arxiv.org