GPT-4.1作Arena-Hard裁判的稳定性与指令敏感性分析
热点事件持续更新
GPT-4.1作Arena-Hard裁判的稳定性与指令敏感性分析
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
一项于2026年10月23日在arXiv（cs.CL）发布的分析研究，检验了GPT-4.1作为LLM裁判在Arena-Hard v2.0评测中的稳定性。该研究使用500条Arena-Hard v2.0提示词，发现相同设置下重复运行时，21.2%的样本胜负结果会改变，但总分仅波动约1分。 进一步测试不同指令组合发现，某些简化指令会使28.2个样本结果改变，并导致总分下降4.09分，而另一些指令则能保持总分稳定。研究表明，总分层面的相似性会掩盖个体判决层面的可重复性问题，建议评估时应同时报告总分与提示词级别的一致率。
AI 根据报道生成 · 2 小时前更新
最新进展10月23日 12:00
Arena-Hard LLM 评测中 GPT-4.1 裁判的稳定性与指令敏感性分析报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- arXiv · NLPArena-Hard LLM 评测中 GPT-4.1 裁判的稳定性与指令敏感性分析
研究使用 500 条 Arena-Hard v2.0 prompts 和 GPT-4.1 裁判模型，发现相同设置重跑时 21.2% 的样本胜负结果会改变，但总分仅波动约 1 分。 不同指令组合导致结果差异显著：某些简化指令使 28.2 个样本的结果改变且总分下降 4.09 分，而另一组指令则保持总分稳定。 稳定的总分掩盖了个体判决的可重复性问题，评估应同时报告总分与 prompt 级别一致率。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。