arXiv · AI· Dowling Wong·· 13 小时前AI 评分20
评估受治理的 LLM 驱动机器学习实验:生命周期、溯源与失败指标
Evaluating Governed LLM-Driven ML Experimentation: Lifecycle, Provenance, and Failure Metrics
AI 导读
研究提出评估 LLM 自主实验代理的实验过程而非仅看结果,构建了拥有试验生命周期的治理控制平面,并在 6 个 ML 任务和 1,445 次试验中验证了该框架。 治理账本通过追加式记录计算无效操作率、重复坏提案率等指标,暴露了任务分数掩盖的失败,如 120 次试验全败和无记忆分支问题。 所有 1,445 次试验的账本已开源,确保报告中所有数字可重新计算验证。
来源:arXiv · AI · arxiv.org