arXiv · NLP· Chen Zhang, Seth Aycock, Yusuke Miyao·· 5 小时前AI 评分20
TFI：基于类型学特征归纳的推理基准
Typological Feature Induction as a Benchmark for Inductive Metalinguistic Reasoning
AI 导读
研究人员提出类型学特征归纳（TFI）基准，用于诊断模型在推理规则归纳上的表现。 TFI 基于 195 种语言构建评估，LLM 仅凭 16 句对即可识别 59%-80% 的语言，表明其依赖先验知识而非纯归纳。 在模型无法识别的语言上，开源模型表现未超过多数值基线，显示模型尚未具备替代语言学家进行原始文本归纳的能力。
来源：arXiv · NLP · arxiv.org