研究人员发布AI辅助A/B实验代理构建教训

2026年11月4日，Brett Daley等研究人员在arXiv平台发布论文《Learnings and Pitfalls from AI-Assisted A/B Experimentation at Scale》，报告了构建与运行规模化AI辅助A/B实验代理的教训。研究人员指出，LLM具备自动化实验流程能力，但其非确定性与幻觉特性与传统实验系统所需的信任基础存在冲突。核心发现表明，解决该矛盾并非让模型变得确定性，而是限制其非确定性范围。具体方案是模型负责选择并编排流程，而确定性代码负责计算所有报告数值。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。