大语言模型的概率无法可靠区分可能语言与不可能语言

研究发现，8个大语言模型的字符串概率无法作为语法知识的可靠代理，无法通过概率差异推断模型内部的句法知识表示。 在包含8个模型的新基准中，通过计算最小对立对惊讶度差异发现，无语义或语用异常的不可理解句子并未表现出独特的惊讶度峰值，其惊讶度与语用异常条件相当，且低于语义异常条件。 这表明，关于模型能区分可能语言与不可能语言的主张需要通过其他方法论进行验证。