arXiv · ML· Prithvi Dixit, Pedram Hosseini·· 16 小时前AI 评分38
医学基准评测中的评分失效模式分析:RIFT 分类法在 HealthBench Professional 等基准中的应用
Are We Grading Properly? Understanding Failure Modes in Medical Benchmarks
AI 导读
研究发现基于评分细则(rubric)的 LLM 评审在医学基准中存在严重失效,HealthBench Professional 中 29.6% 的细则被判定为非原子化且 65.4% 存在对齐偏差。 通过改写捆绑式细则并重评,部分对话分数浮动达 15.9 个百分点,但六个作答模型的排名未变。RIFT 分类法在临床细则中易漏检捆绑问题,不同评审模型的检测率存在 3.8%-15.9% 的波动。
来源:arXiv · ML · arxiv.org