跳到正文
arXiv · AI· Hosein Hasanbeig, Priyanshu Gupta, Ashish Tiwari, Vu Le, Sumit Gulwani·· 4 小时前AI 评分33

RubricCraft:利用解题路径差异生成评估标准的智能体评测方法

RubricCraft: Where Solutions Diverge, Criteria Emerge

AI 导读

RubricCraft 提出一种基于解题轨迹生成自然语言评分细则(Rubric)的方法,解决开放式任务评估标准难编写的难题。 在 SpreadsheetBench v2 测试中,RubricCraft 生成的细则错误放行率降至 29.5%,优于仅基于提示生成的 42.6%,且能更准确区分不同模型的输出质量。 该方法通过对比不同解法的满足与违反情况构建标准,无需单一完整参考解即可捕捉部分正确性。

来源:arXiv · AI · arxiv.org