机器之心·· 6 小时前精选AI 评分65
英伟达、UT-Austin 发布 Realtime-Bench,实时互动任务难倒 GPT-6
英伟达、UT-Austin发布Realtime-Bench,实时互动任务难倒GPT-6
AI 导读
英伟达与 UT-Austin 等机构发布实时交互基准 Realtime-Bench,测试 12 种前沿模型在 30 个网页任务和 20 个游戏任务中的表现。结果显示即使表现最好的 GPT-6-Astra 在高推理强度下的 Pass^3 也仅为 36%,且多数模型延迟超过 1 秒;即使移除推理时间开销,仍有多数任务无法完成,表明仅降低延迟不足以保证可靠的实时表现。
推荐理由
实时互动任务要求模型在时间约束下完成观察、推理与行动,最佳模型成功率也仅 44%,展示了实时能力评测框架的核心结果。
来源:机器之心 · mp.weixin.qq.com