PAYWORTHY 基准发布：LLM 预测 AI Agent 任务承接能力
热点事件持续更新
PAYWORTHY 基准发布：LLM 预测 AI Agent 任务承接能力
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Mohammad Reza Rezaei 等人提出并开源了 PAYWORTHY 基准及其论文，该基准包含 1,494 个真实自由职业任务，用于评估大型语言模型（LLM）预测 AI Agent 接受自由职业任务的能力。研究表明，预测结果高度依赖于 Agent 能力描述的详尽程度：当模型获知 Agent 无法做的事情时，预测准确率（AUC）在 0.66–0.86 之间；而当模型仅获知 Agent 的通用能力时，其预测性能接近随机排序，显示出信息详尽度对 LLM 评估 Agent 任务适配性的关键影响。
AI 根据报道生成 · 7 小时前更新
最新进展11月5日 13:00
PAYWORTHY 评估 LLM 能否预测 AI Agent 完成自由职业任务的概率报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv · NLPPAYWORTHY 评估 LLM 能否预测 AI Agent 完成自由职业任务的概率
前沿 LLM 通过 PAYWORTHY 数据集预测 AI Agent 接受任务的概率，结果取决于 Agent 能力描述的详尽程度。 数据集包含 1,494 个真实自由职业帖子，当模型获知 Agent 无法做的事情时预测 AUC 为 0.66–0.86，仅获知通用能力时接近随机排序。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 911月5日 15:00
- 近 24 小时变化
- –
02.557.510
15:0016:0017:0018:0019:0020:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。