arXiv · NLP· Sangdo Han, Moonsoo Kim·· 8 小时前AI 评分37
LLM 评审员对韩语支持对话评估规则语言与条款结构的判决一致性研究
Same Rule, Different Verdicts: Rubric Language and Clause Structure in LLM Judges for Korean Support Dialogues
AI 导读
研究发现，使用韩语评估规则时，不同提供商 LLM 评审员的判决一致性低于英语规则。 六款低成本模型与一款参考模型在 51,744 次请求中显示，韩语规则的 Cohen's kappa 值为 0.687，低于英语的 0.745；否定、条件和例外条款的不一致率是肯定条款的 5.6 倍。
来源：arXiv · NLP · arxiv.org