研究揭示印度金融基准评分规则敏感性

2026年10月28日，Rajveer Singh Pall等人在arXiv发布论文，分析IndiaFinBench基准中评分规则对模型排名影响。该基准含406项专家标注的SEBI与RBI监管文本，覆盖法规解读、数值推理、矛盾检测及时间推理等任务。 研究指出模型排名对评分规则高度敏感。在严格匹配与跨模型评判模式下，Spearman相关系数为-0.273且无显著性。严格匹配准确率介于75.12%至89.66%，评判准确率介于87.19%至94.83%。 结果显示，综合制度下DeepSeek-R1-Distill-Llama-70B位列第一。约36.5%的条目无法区分模型表现，该基准揭示了依赖单一准确率指标的局限性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。