新研究指8大LLM概率无法区分可能语言

Evelina Leivada等研究人员发布了一项针对8个大语言模型的新基准研究。该研究旨在通过模型内部表示，直接检验LLM如何区分语法与非法语法。研究团队从这8个模型中提取了总对数概率，并计算了最小对立对的惊讶度差异，以评估模型内部对语法知识的表示。 研究发现，模型生成的字符串概率无法作为语法知识的可靠代理。具体而言，那些无语义或语用异常的不可理解句子，并未表现出独特的惊讶度峰值。相反，这类句子的惊讶度与语用异常条件相当，且低于语义异常条件。这表明无法通过概率差异直接推断模型内部是否具备句法知识表示。 基于上述结果，研究结论指出，此前关于模型能可靠区分可能语言与不可能语言的主张存疑。该发现表明，仅靠概率指标不足以验证模型的语法能力，未来需要通过其他方法论进一步验证模型对语言可能性的区分能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。