跳到正文
arXiv · NLP· Hui Zhang, Yibo Su·· 10 天前AI 评分24

DramaGrow:审计 LLM 在多集戏剧评判中可靠性的基准测试

DramaGrow: A Regime-Aware Benchmark for Auditing LLM Judges of Multi-Episode Drama

AI 导读

提出 DramaGrow 基准测试,用于审计 LLM 在中国五集戏剧评判中的可靠性。该测试包含 800 个剧集、120 次干预和 1155 条双盲人工评分记录。在 114 对偏好测试中,DirectPair-GLM 模型达到 85.1% 的偏好准确率。该基准强调评估协议对 LLM 裁判表现的影响。

来源:arXiv · NLP · arxiv.org