跳到正文
arXiv · AI· Shervin Shahidi, James Poon, Hang Xie, Kenneth O. Xu, Robin H{\aa}kanson, Vikram Nair, Jens Pillgram-Larsen, Nachiappan Nagappan·· 11 天前AI 评分20

AutoRefine:从工作流结果自动校准代码评审 LLM 提示词

AutoRefine: Auto-Calibrating Code Judges from Workflow Outcomes

AI 导读

AutoRefine 提出一种循环,通过改写可部署评审 LLM 的提示词以复现工作流结果标签,利用“教师”模型解释保留标签并在不可解释时弃权。在带执行 oracle 的测试集上,Scott's $\pi$ 一致性从 0.36 升至 0.60;在 25% 噪声标签下,教师将噪声降至 20%。

来源:arXiv · AI · arxiv.org