Hao Lu 团队发布 EvalLever 工作流及评估杠杆理论

2026 年 11 月 4 日，Hao Lu 及其团队在 arXiv 提交了 NLP 相关研究论文，该论文目前正处于 TACL 投稿阶段。研究提出了“评估杠杆理论”，指出在结构化预测任务中，NLP 评估切片的差距是模型能力与评分契约（金标准）共同作用的结果，而非单一因素所致。 论文通过实证分析表明，在冻结预测模型的前提下，更换不同的评估金标准会导致现有评估方法的排序发生反转。为验证这一机制，团队引入 AER 流程，并在 WMT19 数据集网格中测试，结果显示该流程能够匹配最佳单一指标的表现。 为增强研究的可复现性与审计透明度，团队开源了预注册工作流 EvalLever。该工作流不仅包含针对 DocRE、HacRED 等核心数据集的评估方案，还详细记录了修订轨迹与审计细节，供后续研究者验证评估杠杆效应在不同语境下的适用性。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。