跳到正文
热点事件持续更新

可验证程序在ARC-AGI-2上降低LLM得分与成本效益分析

1 篇报道1 个报道来源16 小时前更新

先了解这件事

AI 综述

杜埃尼斯-古兹曼等人发布新研究,在120任务ARC-AGI-2评测中,强制大语言模型生成可执行程序导致得分从93降至68,暴露了解释泛化瓶颈。 该研究提出进化搜索方法,在零额外模型成本下比最佳采样代码多解决9.2个任务,且允许协议提前终止,节省高达49%计算预算。 该方法还应用于量子纠错解码器合成,生成可解释解码器并通过独立基准验证。

AI 根据报道生成 · 15 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv · ML
    要求可验证产物如何影响 LLM 在 ARC-AGI-2 上的表现与计算成本

    在 ARC-AGI-2 评测中,强制 LLM 生成可执行程序导致得分从 93 降至 68,暴露了解释泛化而非寻找解释的瓶颈。 进化搜索在零额外模型成本下,比最佳 2 次采样代码多解决 9.2 个任务,且允许协议在解释任务后提前终止,节省高达 49% 的计算预算。 该方法还应用于量子纠错解码器合成,生成可解释解码器并通过独立基准验证。

本事件热度走势

可比范围当前
6
可比范围峰值
911月20日 15:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。