arXiv · NLP· Kaiqiao Han, Katarzyna Pru\'s, Mark Steedman, Yizhou Sun·· 10 天前AI 评分22
大语言模型未必存在未完结悖论:基准失效先于模型失效
The Imperfective Paradox Is Not Necessarily in Large Language Models: A Benchmark Failure Before a Model Failure
AI 导读
近期研究利用未完结悖论 NLI 基准论证大语言模型存在目的论偏见,本文指出该基准构建存在三方面效度问题。在严格 NLI 标准下,76% 的 Group A 实例未明确排除 culmination;母语者标注显示 38% 的 Group A 和 29% 的 Group C 示例允许替代解释。
来源:arXiv · NLP · arxiv.org