arXiv · NLP· Mohammad Reza Rezaei, Dingxian Wang, Brett Levert, Celeste Fejzo, Andrew Rabinovich, Zhao Chen·· 8 小时前AI 评分40
PAYWORTHY 评估 LLM 能否预测 AI Agent 完成自由职业任务的概率
PAYWORTHY: Can LLMs Predict Which Freelance Jobs an AI Agent Will Complete?
AI 导读
前沿 LLM 通过 PAYWORTHY 数据集预测 AI Agent 接受任务的概率，结果取决于 Agent 能力描述的详尽程度。 数据集包含 1,494 个真实自由职业帖子，当模型获知 Agent 无法做的事情时预测 AUC 为 0.66–0.86，仅获知通用能力时接近随机排序。
来源：arXiv · NLP · arxiv.org