跳到正文
arXiv · NLP· Eugene Agichtein, Charles L. A. Clarke, Kaustubh Dhole, William Stern·· 13 小时前AI 评分22

ExecJudges 如何用可执行程序替代 LLM 进行可扩展的相关性标注

Can Programs Replace LLM Judges? Executable Program Judges for Scalable and Efficient Relevance Labeling

AI 导读

ExecJudges 利用前沿 LLM 生成基于词汇匹配等规则的可执行程序,在 TREC DL 2019-2021 上的标注一致性达到 Claude Sonnet 5.5 LLM 判决水平。 该方法单次生成程序成本为 $0.17-$0.49 每主题,无需额外评分开销,且生成的标注能以 0.87-0.94 的 Kendall's tau 值对官方 TREC DL 运行结果进行有效排序。

来源:arXiv · NLP · arxiv.org