Shapley归因量化LLM评审标准影响
热点事件持续更新
Shapley归因量化LLM评审标准影响
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Saeid Asgari等人提出基于Shapley值的检查表LLM评审归因方法，旨在解决模型自我审查导致评分标准漂移的问题。该方法利用Shapley值在“全部通过”聚合规则下的闭式解，以线性时间计算每项检查的贡献，区分捕获信用与误判责任。 实验显示，固定评判模型和输出内容时，修改评分标准可使正确输出通过率从2%剧烈波动至100%，而更换评判模型仅带来几个百分点变化。这表明评分标准而非模型主导结果，该方法有效控制了审查引发的标准漂移。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 12:00
基于清单的 LLM 评判中，Shapley 归因揭示评分标准而非评判模型主导结果报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv · NLP基于清单的 LLM 评判中，Shapley 归因揭示评分标准而非评判模型主导结果
在固定评判模型和输出内容时，修改评分标准（rubric）使正确输出的通过率从 2% 变为 100%，而更换评判模型仅带来几个百分点的变化。 模型自我审查会添加未陈述的要求并删除人类标注的关键检查项。利用 Shapley 值的闭式解可线性时间计算每项检查的贡献，从而控制审查导致的标准漂移，保持修订后质量与起始质量一致。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。