跳到正文
arXiv · AI· Jens Lehmann, Sahar Vahdati·· 4 小时前AI 评分33

LLM 能否自主改进自身运行框架?基于 ARC-AGI-3 的对照研究

Can LLMs Improve Their Own Harness? A Controlled Study on ARC-AGI-3

AI 导读

研究发现前沿 LLM 自主构建并两次修订 ARC-AGI-3 任务框架后,平均保留集 RHAE 仅提升 2.80 分(95% 区间 [-1.44, 7.35])。 实验显示开发集增益高估泛化能力,且降低推理成本可能牺牲任务性能,27 个谱系性能跨度从零到接近天花板。 自主框架构建与可靠适应间存在显著差距,强任务表现不保证后续修订能泛化或保留既有能力。

来源:arXiv · AI · arxiv.org