不依赖 Rollouts 预测任务难度：基于 17 个 Agent 基准的分析

这项研究通过 17 个涵盖编码、数学等领域的 Agent 基准，探讨了不依赖 Rollouts 预测任务难度的方法。 发现 AUC 指标可能掩盖难度估计的不足，并指出 token 级熵是有用的预测信号。 利用期望难度与观察难度之间的残差，可以暴露环境中的污染和不可行性缺陷。