arXiv · NLP· Kazuki Nakayashiki·· 3 小时前AI 评分21
研究揭示 LLM 生成的经验教训会将偶然因素带入 Agent 的后续决策
Lessons from Luck: Do LLM-Written Lessons Carry Chance into an Agent's Next Decision?
AI 导读
一项注册研究通过 256 个合成世界测试发现，当 LLM 基于偶然失败的经验教训推荐工具时，读者选择较差工具的比例达 11.6%，远高于无关对照组的 0.4%。 该效应交互项为 +0.112（95% 置信区间 [+0.097, +0.126]），在日志未声明失败独立的场景下效应高达 +0.181。 在 11 个 LLM 端点中，6 个表现出概率携带现象，最高效应值达 +0.352。
来源：arXiv · NLP · arxiv.org