arXiv · AI· Wonjeong Jo, Gyuwan Kim, Ming Shan Hee·· 2026-10-16AI 评分45
评估 LLM 文本评分中评分量表敏感性
Change the Number, Change the Answer: Assessing Rating Scale Sensitivity in LLM-Based Text Scoring
AI 导读
改变评分量表单一设计元素平均导致标准化分数偏移 0.10,并改变约 20% 文本的分类结果。 实验涵盖 2 种格式、4 种范围、2 种符号、5 个 LLM,发现毒性任务敏感性最高且基于评分标准的提示未降低敏感性。 文章为设计更可靠的 LLM 文本评分提供实用指导,并强调需进行跨不同量表的稳健性检查。
来源:arXiv · AI · arxiv.org