arXiv · AI· Rajveer Singh Pall·· 5 小时前AI 评分35
印度金融监管文本LLM评估中评分规则敏感性分析
Scoring-Rule Sensitivity in LLM Evaluation: Evidence from Indian Financial Regulatory Text
AI 导读
模型排名对评分规则高度敏感，严格匹配与跨模型评判下Spearman相关系数为-0.273且无显著性。 严格匹配准确率75.12%至89.66%，评判准确率87.19%至94.83%，综合制度下DeepSeek-R1-Distill-Llama-70B并列第一。 36.5%的条目无法区分模型，该基准揭示了单一准确率指标的局限性。
来源：arXiv · AI · arxiv.org