arXiv · AI· Adi Krishnamoorthy, X. Y. Han·· 2 天前AI 评分38
LLM 购物智能体研究:增加推理努力提升置信度而非正确率
Thinking Harder Doesn't Lead to Better Choices: Reasoning Effort Increases the Confidence but Not the Correctness of LLM Shopping Agents
AI 导读
针对十个前沿 LLM 在 WebShop 等三个平台构建的基准测试表明,增加思考投入并未显著提升决策质量,却显著提高了报告的置信度。 测试发现模型置信度校准不佳,且错误高度共享;多个模型常在同一任务中犯相同错误。 这揭示增加推理努力主要增强自信而非准确性,对 LLM 购物智能体的实际应用构成挑战。
来源:arXiv · AI · arxiv.org