arXiv · AI· Zihan Chen, Di Zhu, Lei Nico Zheng·· 4 小时前AI 评分31
递归自我改进（RSI）研究的评估证据审计：产品与过程主张的分离
Auditing the Product, Not the Recursion: The Evaluation Evidence Behind Recursive Self-Improvement Claims
AI 导读
对 114 项 arXiv 研究中 90 项 RSI 研究的全文本编码显示，90% 报告了产品评估，但仅 22% 审计了完整循环的重复运行。 在随机抽样中，45% 的研究在未用于选择的任务上评估，14% 审计了多次重跑；26 项声称改进过程的研究中仅 4 项在匹配预算下比较了不同起点。 发现表明可重复性和过程改进的证据落后于产品评估，支持建立主张索引的汇报标准。
来源：arXiv · AI · arxiv.org