arXiv · AI· Xun Liu, Yi Evie Zhang, Vira Kasprova, Parisa Rabbani, Pardis Sadat Zahraei, Tianyu Zhang, Ali Ebrahimpour-Boroojeny, Varun Chandrasekaran·· 12 小时前AI 评分44
AgentAbstain:LLM Agent 何时不该行动?首个智能体弃答评测框架
AgentAbstain: Do LLM Agents Know When Not to Act?
AI 导读
首个智能体弃答评测框架 AgentAbstain 发布,含 263 组配对任务与 42 个沙盒环境。 AbstainGen 自动化管线生成任务并经 3 名标注者验证 94-98% 为良好设计。 17 个前沿 LLM 最佳者 Gemini 3.1 Pro 仅达 59.5% 配对准确率,弃答能力独立于任务解决能力。
来源:arXiv · AI · arxiv.org