跳到正文
arXiv · NLP· Hao Lu, Weixing Zhu, Ruiyang Li·· 2 天前AI 评分26

契约显式评估:从审计学习型读者到范围证书

Contract-Explicit Evaluation: From Auditing Learned Readers to Scoped Certificates

AI 导读

提出契约显式评估协议,解决文档级关系抽取(DocRE)及LLM裁判中排名在评分契约下反转且无法确定哪些比较有效的问题。 该协议基于Kendall秩相关分解,通过预注册五步流程生成分布无关普查证书。DocRE审计中3个标记实例上限为0.146;LLM裁判普查中12.25%的比较需对冲,边界0.124。 协议、地图及工件已发布,明确置信度证书在真实分数下被撤回的失效边界。

来源:arXiv · NLP · arxiv.org