跳到正文
arXiv · ML· Gaoyuan Du, Xiaoyang Liu, Rex Zhou, Dengdu Jiang, Rong Fu, Meng Ding, Defu Cao·· 3 天前AI 评分30

LLM 引导的 AutoML 搜索中,Critic 可能造成伤害

The Critic Can Hurt: On the Safety of Critics in LLM-Guided AutoML Search

AI 导读

研究发现 8B LLM Critic 在 8 个表格数据集中有 7 个使 AutoML 搜索性能低于随机搜索,最大 AUC 损失达 0.245。 故障注入实验显示非方向性错误代价极低,但方向性错误消耗有限搜索机会。 团队将发布 CRITFAULT,这是首个检测 AutoML 中有害 Critic 反馈的基准。

来源:arXiv · ML · arxiv.org