LLM自动研究双域预注册测试：验证器强度未提升质量

Peter Chen、Ni Zhang及Siyuan Zhang发布预注册双领域测试，探究LLM自动研究管道中验证器强度与发现质量的关系。测试采用“LLM提议者 vs 随机基线”设计，覆盖工单调度与北京T-Driver车路边缘卸载两个真实数据域，每域匹配100对LLM/随机提议，并设置三档验证器层级。预注册结果显示，LLM提议者相对随机基线的发现优势不随验证器强度提升而扩展：域A中LLM优势显著但未随严格验证层级提升，域D中严格层级反而缩小了优势。事后分析表明，混合提议池而非强化验证门是提升发现质量的关键杠杆。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。