arXiv · NLP· Niyar R Barman, Omar Naim, Nicholas Asher·· 4 小时前AI 评分20
基于 Kripkean 挑战重新思考原则性泛化的 NLP 评测
Rethinking Evaluation for Principled Generalization Using a Kripkean Challenge to Meaning as Use
AI 导读
LLM 将意义操作化为使用，面临 Kripke 规则遵循挑战。有限的历史使用记录无法确定未来扩展的唯一规则，固定用例基准无法确立语义能力。 论文主张通过抽象和递归能力评估模型在原则性域扩展下的规则保持，提出测试这两种能力的实验范式。 这重新框架了关于 OOD 泛化和 NLP 评测的辩论，指出需超越局部鲁棒性测量。
来源：arXiv · NLP · arxiv.org