arXiv · NLP· Hao Lu, Weixing Zhu, Ruiyang Li·· 5 小时前AI 评分33
EvalLever：结构化预测中评估契约与杠杆效应
Evaluation Contracts and Evaluation Leverage: Sliced-Gap Readings in Structured Prediction Can Move Without Model Change
AI 导读
论文提出评估杠杆理论，指出 NLP 评估切片差距是模型与评分契约的联合属性。 冻结预测下更换金标准会导致方法排序反转，AER 流程在 WMT19 网格中匹配最佳单一指标。 团队开源预注册工作流 EvalLever，涵盖 DocRE、HacRED 等数据集及审计细节。
来源：arXiv · NLP · arxiv.org