arXiv · AI· Prajjwal Gupta, Prasang Gupta, Vishal Bhutani, Apoorva Sharma, Sumanth Chundru, Waqar Sarguroh, Kevin Paul·· 2026-10-14AI 评分20
Litmus:用于评估 AI 系统的零标签、代码驱动指标规范方法
Litmus: Zero-Label, Code-Driven Metric Specification for Evaluating AI Systems
AI 导读
summary_zh: Litmus 提出一种零标签系统,通过解析源码提取评估意图,为 AI 流水线自动设计指标组合。 在三个真实代码定义的流水线评测中,Litmus 在科学问答任务上的有效性排名 $\rho$ 值为 0.72,优于最强基线的 0.47。
来源:arXiv · AI · arxiv.org