跳到正文
arXiv · AI· Adi Krishnamoorthy, X. Y. Han·· 2 天前AI 评分38

LLM 购物智能体研究:增加推理努力提升置信度而非正确率

Thinking Harder Doesn't Lead to Better Choices: Reasoning Effort Increases the Confidence but Not the Correctness of LLM Shopping Agents

AI 导读

针对十个前沿 LLM 在 WebShop 等三个平台构建的基准测试表明,增加思考投入并未显著提升决策质量,却显著提高了报告的置信度。 测试发现模型置信度校准不佳,且错误高度共享;多个模型常在同一任务中犯相同错误。 这揭示增加推理努力主要增强自信而非准确性,对 LLM 购物智能体的实际应用构成挑战。

来源:arXiv · AI · arxiv.org