arXiv · ML· Erik Skalnes, Layne C. Price, Raviteja Anantha, Michael Oberst·· 2026-10-09AI 评分26
评估评分标准生成的干预转移方法
Evaluating Rubric Generation with Interventional Transfer
AI 导读
提出基于干预转移(IT)的评分标准生成评估方法,核心观点是若响应受扰动后通过/失败变化一致,则两个评分标准相似。 该研究在 HealthBench 案例中测试了 Qwen3.8-27B、Deepseek-V4-Flash 和 Opus-5 生成的标准用于评估 GPT-5.6-Terra 的响应,发现扰动导致的降级可转移,但升级不可靠,揭示了生成标准的非对称性。
来源:arXiv · ML · arxiv.org