研究揭示LLM自主改进框架泛化能力有限

Jens Lehmann与Sahar Vahdati发表受控研究，探究前沿LLM能否在ARC-AGI-3中自主构建并改进任务框架。研究要求模型通过固定代码引导构建完整任务框架，在5个开发游戏中行动并两次修订代码库，所有版本均在20个独立游戏中评估。 研究采用相对人类操作效率（RHAE）衡量任务性能，并结合推理成本进行评估。结果显示，模型自主修订后平均保留集RHAE仅提升2.80分，95%置信区间为[-1.44, 7.35]。开发集的高增益无法反映真实泛化能力，27个模型谱系性能跨度极大，表明强任务表现并不保证后续修订能保留既有能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。