arXiv · ML· Edgar A. Du\'e\~nez-Guzm\'an, Eduardo Due\~nez, Edgar Said Hernandez Sanchez, Suzanne Sadedin·· 17 小时前AI 评分27
要求可验证产物如何影响 LLM 在 ARC-AGI-2 上的表现与计算成本
The Price of an Explanation: What Demanding Verifiable Artifacts Costs, and What It Buys Back
AI 导读
在 ARC-AGI-2 评测中,强制 LLM 生成可执行程序导致得分从 93 降至 68,暴露了解释泛化而非寻找解释的瓶颈。 进化搜索在零额外模型成本下,比最佳 2 次采样代码多解决 9.2 个任务,且允许协议在解释任务后提前终止,节省高达 49% 的计算预算。 该方法还应用于量子纠错解码器合成,生成可解释解码器并通过独立基准验证。
来源:arXiv · ML · arxiv.org