arXiv · AI· Yuhan Tang, Ke Fan, Xinkai Zou, Baichuan Mo, Kangxin Cui, Ao Qu, Ou Zheng, Jiangbo Yu, Xuan Jiang, Haris N. Koutsopoulos, Jinhua Zhao, Yuan Zhou·· 9 天前AI 评分36
Ask2Decide 基准测试揭示 LLM 智能体获取决策关键信息的瓶颈
From Questions to Decisions: Benchmarking How LLM Agents Acquire Decision-Relevant Information from Human Beings
AI 导读
研究引入包含 43 个规划任务的 Ask2Decide 基准,评估 LLM 智能体在信息缺失时主动获取关键决策信息的表现。 实验发现,当关键信息缺失时,前沿 LLM 初始计划不可行率高达 58%-98%,且智能体挖掘改变最优计划事实的比例仅略高于无关事实。 这表明通过交互获取决策相关信息仍是 LLM 规划的主要瓶颈。
来源:arXiv · AI · arxiv.org