跳到正文
arXiv · AI· Halimat Afolabi, Daeyoung Lee·· 10 天前AI 评分38

RankShift:评估文档解析基准中排名不稳定性的多维度研究

RankShift: Evaluating Ranking Instability Across Benchmark Dimensions in Document Parsing

AI 导读

研究 RankShift 揭示了文档解析基准中模型排名受数据集构成、匹配策略及评分方法影响的稳定性问题。 基于 OmniDocBench 评估 16 个模型,发现匹配策略与真值格式交互导致排名不稳定,如 JSON 与 Markdown 评分下 Kendall's tau 均值仅约 0.33。 这些发现表明排行榜位置不仅取决于模型能力,推动榜单报告排名在设计选择下的鲁棒性。

来源:arXiv · AI · arxiv.org