arXiv · AI· Ruben Hammele, Samira Huber, Mohammad Nazeri, Amirreza Payandeh, Alexandyr T. Card, Aaron Nguyen, Anuj Pokhrel, Daeun Song, Xuesu Xiao, S\"oren Pirk·· 8 小时前AI 评分24
$\pi_{0.5}$ 在 BEHAVIOR-1K 上的推理设置配对评估：什么真正重要？
What Actually Matters? A Paired Evaluation of Inference Settings for $\pi_{0.5}$ on BEHAVIOR-1K
AI 导读
$\pi_{0.5}$ 模型在 BEHAVIOR-1K 基准上完成所有 100 项任务的配对评估，结果显示先前提出的推理与数据采集策略无法均匀泛化至新环境。 该评估基于 2025 年 BEHAVIOR 挑战赛获胜者微调的模型，其在公开测试集上取得 0.39 的 Q 分数。
来源：arXiv · AI · arxiv.org