arXiv · AI· Brian B. Moser, Stanislav Frolov, Tobias C. Nauen, Federico Raue, Andreas Dengel·· 2026-10-16AI 评分28
自动改进系统的可靠性问题:为何终止性门控无法保证语义改进
The Self-Improvement Problem
AI 导读
大语言模型自主性提升引发安全自改进核心难题,即自动门控(如奖励模型)无法同时保证可靠性与非保守性。 研究形式化证明,在通用设定下,任何终止程序均因自指构造而失效;随机门控也面临同等限制。 仅在有限评估与提案预算的有界设定下,穷举搜索才能恢复保证,且累积更新可能导致真实得分下降。
来源:arXiv · AI · arxiv.org