arXiv · AI· Brett Daley, Ilya Gorbachev, Anubhav Natani, Nicholas Brown, Athena Dai, Rachel Song, Marcin Pekalski, Josip Domazet, Anchal Choubey, Daniel Ting·· 3 小时前AI 评分23
规模化 AI 辅助 A/B 实验的教训与陷阱
Learnings and Pitfalls from AI-Assisted A/B Experimentation at Scale
AI 导读
LLM 具备自动化实验流程能力，但其非确定性与幻觉特性与传统实验系统所需的信任基础冲突。文章报告了构建并运行此类 agent 的教训，指出通过限制非确定性范围解决该矛盾：模型负责选择并编排流程，确定性代码计算所有报告数值。
来源：arXiv · AI · arxiv.org